Verborgene Deepfake-Apps im App Store und Google Play bildeten laut einer Untersuchung von WIRED ein Netzwerk von über 400 verknüpften Domains und Apps. Sie tarnten sich als Fotobearbeitungs-Apps für Haustiere, Sprachlehrer oder AI-Fitness-Coaches. Unter bestimmten Bedingungen luden sie jedoch eine Schnittstelle, die aus hochgeladenen Fotos sexuelle und gewalttätige Deepfakes erzeugte.
Verborgene Deepfake-Apps im App Store und Google Play umgingen die Überprüfung
Unter den Szenen waren laut WIRED auch Bedroom Rape und Threatening Knife, bei denen ein Mann ein Messer an den Hals einer Frau hält. Die Apps verwendeten die Taktik des Bait-and-Switch: Bei der Überprüfung zeigten sie harmlosen Inhalt, aber der Server konnte versteckte Funktionen aktivieren. Auslöser war beispielsweise die Installation nach dem Klicken auf eine Werbung auf den Plattformen von Meta. Die Nutzer luden dann pornografische Vorlagen herunter und kauften Credits zur Generierung von Deepfakes. Die Zahlungen wurden von Apple und Google verarbeitet. Das Netzwerk verbreitete sich über Tausende von Videoanzeigen auf Facebook und Instagram, einige enthielten KI-Materialien mit sexuellem Missbrauch von Kindern.
Apple entfernte 19 Apps, Meta ging gegen Konten vor
Apple gab an, dass die Apps bei der Überprüfung die Regeln erfüllten, die Entwickler jedoch später die Website änderten, von der sie Inhalte luden, und diese durch Pornografie ersetzten. Nach der Weitergabe von Details an WIRED entfernte Apple 19 Apps. Google löschte laut ibtimes.com.au die meisten Apps noch vor dem Kontakt mit WIRED. Meta erklärte, dass sie strenge Regeln gegen sogenannte Nudify-Apps zur Entblößung von Personen habe, und laut 9to5mac ging sie gegen mehr als 10.000 Werbekonten vor. Ibtimes.com.au berichtet von 11.600 Konten und 15.000 Seiten.
Wer hinter dem Netzwerk stand
Das Netzwerk wurde laut WIRED offenbar von chinesischen Entwicklern und der hongkongischen Firma KeLing Technology Limited geleitet. Die Apps existierten etwa ein Jahr lang, manchmal wurden wöchentlich Dutzende veröffentlicht. AI Forensics bemerkte die Operation Anfang September; im September gab es 27 Apps des Netzwerks im Google Play mit über 350.000 Downloads. Der Forscher Paul Bouchaud rekonstruierte den Code und fand eine Liste von Domains, Verschlüsselungsschlüsseln und Werbetrackern. Firstpost.com berichtet von der Entstehung der Domains Ende 2025 mit einem Höhepunkt im Frühling, während ibtimes.com.au Anfang September angibt. Laut firstpost.com verbot Meta 2025 die Werbung von KeLing Technology Limited, nachdem diese einer Aufforderung zur Einstellung der Aktivitäten nicht nachgekommen war. Nach dem Kontakt mit WIRED haben die Entwickler offenbar die öffentlichen Verbindungen zwischen der Firma und den Deepfake-Tools gelöscht.