Национальный центр по делам пропавших и эксплуатируемых детей сообщил, что в 2025 году получил более 1 миллиона сообщений о материалах, связанных с сексуальным насилием над детьми (CSAM), созданными с помощью ИИ. По данным расследования Bloomberg, «подавляющее большинство» этих материалов было сообщено Amazon, которая обнаружила их в своих обучающих данных. Кроме того, Amazon заявила лишь, что получила неуместный контент из внешних источников, используемых для обучения своих сервисов ИИ, и утверждает, что не может предоставить никаких дополнительных сведений о происхождении CSAM.
«Это действительно исключение», — заявила Bloomberg Фэллон МакНалти, исполнительный директор CyberTipline Национального центра по делам пропавших и эксплуатируемых детей. CyberTipline — это место, куда многие типы американских компаний юридически обязаны сообщать о подозрительных CSAM. «Такой большой объем, поступающий в течение года, вызывает много вопросов о том, откуда берутся данные и какие меры защиты были приняты». Она добавила, что, помимо Amazon, отчеты, связанные с ИИ, полученные организацией от других компаний в прошлом году, содержали актуальные данные, которые она могла передать правоохранительным органам для дальнейших действий. Поскольку Amazon не раскрывает источники, МакНалти заявила, что ее отчеты оказались «непригодными для принятия мер».
«Мы применяем намеренно осторожный подход к сканированию данных для обучения фундаментальных моделей, включая данные из общедоступного Интернета, для выявления и удаления известных [материалов, связанных с сексуальным насилием над детьми] и защиты наших клиентов», — заявил представитель Amazon в своем заявлении Bloomberg. Представитель также отметил, что Amazon стремилась преувеличить свои показатели, сообщая в NCMEC, чтобы избежать пропуска каких-либо случаев. Компания заявила, что удалила подозрительный контент CSAM перед подачей обучающих данных в свои модели ИИ.
Вопросы безопасности для несовершеннолетних стали критически важной проблемой для индустрии искусственного интеллекта в последние месяцы. Количество CSAM в записях NCMEC резко возросло: по сравнению с более чем 1 миллионом сообщений, связанных с ИИ, полученных организацией в прошлом году, в 2024 году было зарегистрировано 67 000 сообщений, а в 2023 году — всего 4 700 сообщений.
Помимо проблем, таких как использование вредоносного контента для обучения моделей, чат-боты с ИИ также были замешаны в нескольких опасных или трагических случаях с участием молодых пользователей. На компании OpenAI и Character.AI подали иски после того, как подростки планировали самоубийства с помощью платформ этих компаний. Компании Meta также предъявлен иск за предполагаемые неудачи в защите подростков от откровенно сексуальных бесед с чат-ботами.
