Skryté deepfake aplikace v App Store a Google Play tvořily podle vyšetřování serveru WIRED síť více než 400 propojených domén a aplikací. Maskovaly se jako editor fotografií domácích mazlíčků, jazykový učitel nebo AI trenér fitness. Za určitých podmínek ale načetly rozhraní, které z nahraných fotografií vytvářelo sexuální a násilné deepfaky.
Skryté deepfake aplikace v App Store a Google Play obcházely revizi
Mezi scénami byly podle WIRED i bedroom rape a threatening knife, kde muž přikládá nůž k ženině krku. Aplikace používaly taktiku bait-and-switch, tedy návnadu a záměnu: při kontrole ukazovaly neškodný obsah, ale server mohl skryté funkce aktivovat. Spouštěčem byla třeba instalace po kliknutí na reklamu na platformách Meta. Uživatelé pak stahovali pornografické šablony a kupovali kredity na generování deepfaků. Platby zpracovávaly Apple a Google. Síť se šířila přes tisíce videoreklam na Facebooku a Instagramu, některé obsahovaly AI materiály se sexuálním zneužíváním dětí.
Apple odstranila 19 aplikací, Meta zasáhla proti účtům
Apple uvedla, že aplikace při revizi její pravidla splňovaly, ale vývojáři poté změnili web, ze kterého načítají obsah, a nahradili ho pornografií. Po sdílení podrobností s WIRED Apple odstranila 19 aplikací. Google podle ibtimes.com.au smazal většinu aplikací ještě před kontaktem s WIRED. Meta uvedla, že má přísná pravidla proti takzvaným nudify aplikacím na svlékání lidí, a podle 9to5mac zasáhla proti více než 10 000 reklamním účtům. ibtimes.com.au uvádí 11 600 účtů a 15 000 stránek.
Kdo za sítí stál
Síť podle WIRED zřejmě řídili čínští vývojáři a hongkongská společnost KeLing Technology Limited. Aplikace vycházely zhruba rok, někdy desítky týdně. AI Forensics si operace všimla začátkem září; v září bylo na Google Play 27 aplikací sítě s více než 350 000 staženími. Výzkumník Paul Bouchaud rekonstruoval kód a našel seznam domén, šifrovací klíče a trackery reklam. firstpost.com uvádí vznik domén na konci roku 2025 s vrcholem na jaře, ibtimes.com.au naopak začátek září. Podle firstpost.com Meta v roce 2025 zakázala KeLing Technology Limited reklamu po nesplnění výzvy k ukončení činnosti. Po kontaktu s WIRED vývojáři zřejmě smazali veřejné vazby mezi firmou a nástroji na deepfaky.
Najdete nás také na Facebooku