Скрытые deepfake приложения в App Store и Google Play представляли собой, согласно расследованию сервера WIRED, сеть из более чем 400 связанных доменов и приложений. Они маскировались под редактор фотографий домашних животных, преподавателя языков или фитнес-тренера с искусственным интеллектом. Однако при определенных условиях они загружали интерфейс, который создавал сексуальные и насильственные deepfakes из загруженных фотографий.
Скрытые deepfake приложения в App Store и Google Play обходили модерацию
Среди сценариев, по данным WIRED, были также bedroom rape и threatening knife, когда мужчина приставляет нож к горлу женщины. Приложения использовали тактику bait-and-switch (приманка и подмена): во время проверки они показывали безобидный контент, но сервер мог активировать скрытые функции. Триггером могла служить установка после клика по рекламе на платформах Meta. Пользователи затем скачивали порнографические шаблоны и покупали кредиты для генерации deepfakes. Платежи обрабатывали Apple и Google. Сеть распространялась через тысячи видеореклам на Facebook и Instagram, некоторые из которых содержали материалы с изображением сексуального насилия над детьми, сгенерированные с помощью искусственного интеллекта.
Apple удалила 19 приложений, Meta приняла меры против аккаунтов
Apple заявила, что приложения соответствовали ее правилам на момент проверки, но затем разработчики изменили сайт, с которого загружают контент, и заменили его порнографией. После передачи подробностей со стороны WIRED компания Apple удалила 19 приложений. Google, по данным ibtimes.com.au, удалила большинство приложений еще до контакта с WIRED. Meta заявила, что у нее действуют строгие правила в отношении так называемых nudify-приложений для раздевания людей, и, согласно 9to5mac, приняла меры против более чем 10 000 рекламных аккаунтов. Издание ibtimes.com.au сообщает о 11 600 аккаунтах и 15 000 страницах.
Кто стоял за сетью
Сетью, по информации WIRED, судя по всему, управляли китайские разработчики и гонконгская компания KeLing Technology Limited. Приложения выходили около года, порой десятками в неделю. Организация AI Forensics обратила внимание на эту деятельность в начале сентября; в сентябре в Google Play находилось 27 приложений этой сети с более чем 350 000 загрузок. Исследователь Paul Bouchaud восстановил код и обнаружил список доменов, ключи шифрования и рекламные трекеры. Сайт firstpost.com указывает на появление доменов в конце 2025 года с пиком весной, в то время как ibtimes.com.au говорит о начале сентября. Согласно firstpost.com, компания Meta в 2025 году запретила KeLing Technology Limited размещать рекламу после невыполнения требования о прекращении противоправной деятельности. После контакта с WIRED разработчики, по всей видимости, удалили публичные связи между компанией и инструментами для создания deepfakes.
Также мы в Telegram