Компания FoloToy, специализирующаяся на продаже игрушек с искусственным интеллектом, приостановила продажи своей продукции после того, как отчет о безопасности потребителей показал, что ограничения на содержание разговоров ее игрушек были минимальны, пишет CNN. В отчете, подготовленном Образовательным фондом Общественной исследовательской группы США (US Public Interest Research Group Education Fund), говорится, что продукция FoloToy обсуждала все — от сексуально откровенных тем, таких как БДСМ, до «советов о том, где ребенок может найти спички или ножи».

Игрушки, включая плюшевого мишку по имени «Кумма», панду по имени «Момо», антропоморфных кроликов «Фофо» и танцующий «Маленький кактус», по-видимому, используют модель GPT-4o от OpenAI для естественного ответа на вопросы и комментарии детей. FoloToy также специально рекламирует возможность настраивать голос каждой игрушки и «Панель управления для родителей», где родители или опекуны могут «следить за впечатлениями [своего ребенка]».

Очевидно, в этой системе отсутствовали какие-либо жесткие ограничения на темы, на которые игрушки должны были отвечать. «Мы были удивлены, как быстро «Кумма» подхватил одну сексуальную тему, которую мы ввели в разговор, и развил ее, одновременно усиливая графические детали и вводя новые сексуальные концепции», — говорится в отчете.

В ответ FoloToy решила приостановить продажи своей продукции, проводя «общекорпоративный комплексный аудит безопасности всех продуктов», — сообщила компания в заявлении для PIRG Education Fund. Однако причина приостановки продаж может быть несколько сложнее. Сообщает NPR, что OpenAI фактически отозвала у FoloToy доступ к своим моделям. «Мы приостановили работу этого разработчика за нарушение наших правил», — заявили в OpenAI в электронном письме NPR. «Наши правила использования запрещают любое использование наших услуг для эксплуатации, подвергания опасности или сексуализации лиц младше 18 лет».

Учитывая хорошо документированные льстивые качества GPT-4o, возможно, неудивительно, что плюшевый мишка FoloToy с энтузиазмом откликался на любую тему, лишь бы поддерживать разговор. Одна из проблем, которую OpenAI пыталась решить с выпуском GPT-5, заключалась в проблемах безопасности ИИ-«поддакивателя», хотя в конечном итоге он снова сделал GPT-4o снова доступным после того, как клиенты пожаловались на отсутствие индивидуальности у новой модели. Компания также внедрила родительский контроль в ChatGPT, чтобы попытаться смягчить негативные последствия использования детьми искусственного интеллекта, хотя сложно сказать, насколько большую разницу это внесло.

Примечательно, что OpenAI сама заинтересована в выходе на рынок игрушек. Компания объявила о партнерстве с Mattel в июне 2025 года, чтобы помочь «переосмыслить, как поклонники могут познакомиться с любимыми брендами [Mattel] и взаимодействовать с ними», хотя обе компании, предположительно, постараются не допустить, чтобы их игрушки с ИИ обсуждали сексуальные предпочтения.