ExposeAnyone: Personalisierte Audio-zu-Ausdruck Diffusionsmodelle als robuste Null-Schuss Gesichtsmanipulationsdetektoren
Von Gemini AI generiertes Bild
Forscher haben ExposeAnyone vorgestellt, eine selbstüberwachende Methode zur Erkennung von Deepfake-Manipulationen, die auf einem Diffusionsmodell basiert, das Ausdruckssequenzen aus Audio generiert. Durch die Personalisierung von Modellen auf spezifische Personen berechnet es Identitätsabstände, um Fälschungen zu identifizieren. Dieser Ansatz übertrifft bestehende Methoden um 4,22 AUC-Punkte und erkennt effektiv auch anspruchsvolle, mit Sora2 generierte Videos, während er gleichzeitig robust gegenüber Verzerrungen wie Unschärfe und Kompression bleibt. Dies verbessert die Anwendbarkeit in der realen Welt bei der Erkennung von Gesichtsmanipulationen erheblich.
ExposeAnyone: Ein Durchbruch in der Erkennung von Gesichtsmanipulationen
ExposeAnyone, ein selbstüberwachtes Modell, verbessert erheblich die Erkennung von Deepfake-Manipulationen, insbesondere unbekannten Variationen. Dieser Ansatz nutzt ein Diffusionsmodell, um Ausdruckssequenzen aus Audio zu erzeugen, was eine robuste Erkennung von Gesichtsmanipulationen ermöglicht.
Aktuelle Methoden basieren auf überwachtem Training, was zu Überanpassung führen kann. ExposeAnyone verwendet ein vollständig selbstüberwachtes Framework, das das Modell an spezifische Subjekte durch Referenzdaten anpasst, sodass es Identitätsabstände zwischen verdächtigen Videos und Referenzsubjekten berechnen kann, indem es Diffusionsrekonstruktionsfehler analysiert.
Leistungskennzahlen
Experimente haben die Effektivität von ExposeAnyone über mehrere Datensätze hinweg gezeigt, einschließlich DF-TIMIT und DFDCP. Zu den wichtigsten Ergebnissen gehören:
- Eine Verbesserung um 4,22 Prozentpunkte im durchschnittlichen Area Under the Curve (AUC) im Vergleich zu früheren Methoden.
- Verbesserte Fähigkeit, Videos zu erkennen, die vom Sora2-Modell generiert wurden.
- Starke Robustheit gegenüber häufigen Verzerrungen wie Unschärfe und Kompression.
Verwandte Themen:
📰 Originalquelle: https://arxiv.org/abs/2601.02359v1
Alle Rechte und Urheberrechte liegen beim ursprünglichen Herausgeber.