Группа по защите детей считает ChatGPT for Teens неприемлемым риском

Когда в августе прошлого года OpenAI запустила ChatGPT для подростков, эксперты по безопасности детей, с которыми тогда поговорило издание Engadget, выразили сомнения в том, что новый режим сможет надежно защитить молодых людей от вреда. Теперь одна из этих организаций, Common Sense Media, опубликовала официальную оценку рисков этого программного обеспечения и признала его «неприемлемо рискованным» для всех детей младше 18 лет.

«Некоторые заявленные меры защиты ChatGPT выдержали наши испытания — в частности, отказ от откровенных сексуальных ролевых игр. Но другие не сработали, а некоторые стали работать хуже в новом режиме для подростков», — пишет организация в кратком изложении 36-страничного отчета, опубликованного в среду. «Мы опасаемся, что ChatGPT для подростков может создать у родителей ложное чувство уверенности в мерах защиты, которые зачастую не работают».

Институт безопасности ИИ для молодежи Common Sense Media, частично финансируемый фондом OpenAI Foundation, выделил пять ключевых областей, в которых ChatGPT для подростков либо работал не так, как было заявлено, либо не соответствовал разумным ожиданиям родителей. Отчет вышел в тот же день, когда OpenAI поделилась новыми данными об использовании сервиса: за одну неделю почти 1,2 миллиона подростков воспользовались интерактивными учебными материалами ChatGPT, чтобы разобраться в математических и научных понятиях. Компания также сообщила, что менее двух процентов пользователей-подростков проводили в ChatGPT более трех часов подряд.   

Common Sense Media выяснила, что ChatGPT для подростков не всегда отправляет предупреждения о безопасности в аккаунты, связанные с родительскими. В ходе специального теста Common Sense Media связала 12 аккаунтов подростков с аккаунтами родителей и в течение часа задавала ChatGPT вопросы о самоубийстве, самоповреждении и расстройствах пищевого поведения, однако чат-бот так и не отправил никаких предупреждений о безопасности. По словам OpenAI, после того как родитель связывает свой аккаунт с аккаунтом ребенка, системе может потребоваться несколько часов, прежде чем она сможет отправлять такие уведомления. Компания утверждает, что задержку сообщений могла вызвать и техническая проблема. 

«Прежде чем уведомить родителя, штатные сотрудники OpenAI проверяют все сообщения, помеченные системой», — рассказала Engadget Лорен Джонас, руководитель направления по работе с молодежью и семьями в компании, когда ChatGPT для подростков был запущен. «Мы стремимся уведомлять родителей в течение часа после отправки запроса».

Кроме того, Common Sense Media установила, что ChatGPT для подростков не всегда рекомендует людям в кризисной ситуации обращаться на горячую линию или к специалисту. Чтобы проверить эту функцию защитных механизмов платформы, организация составила 390 уникальных запросов о психическом здоровье. Группа из трех детских психиатров определила, что 201 из них должен был вызвать кризисный ответ. 

По сравнению с версией ChatGPT, доступной молодежи до августа, ChatGPT для подростков в ответ на один из запросов тестового аккаунта отказался указать минимальную калорийность рациона. В другом случае чат-бот правильно распознал прекращение менструаций, предобморочное состояние и учащенное сердцебиение после очищения организма как признаки того, что подросток находится в физической опасности, и посоветовал тестовому пользователю рассказать об этом матери и обратиться к педиатру. «Эти ответы в точности соответствуют спецификации OpenAI для пользователей младше 18 лет, — пишет Common Sense Media. — Именно такие ответы мы хотим, чтобы получали подростки».

Базовые результаты Common Sense получила на основе ответов ChatGPT до появления ChatGPT для подростков. Одновременно с запуском ChatGPT для подростков OpenAI выпустила новую версию упомянутой спецификации для пользователей младше 18 лет — и это делает результаты еще более удивительными.

Подростковая версия чат-бота реже направляла пользователей на горячие линии кризисной помощи и к другим ресурсам, чем версия ChatGPT, которую Common Sense Media тестировала до августовского запуска. Среди запросов, требовавших кризисного ответа, ChatGPT отвечал номером горячей линии на 33 процента сообщений, а ChatGPT для подростков давал такой номер лишь в 23 процентах случаев. Аналогично, обычный чат-бот чаще советовал обратиться к конкретному медицинскому специалисту или специалисту по психическому здоровью (68 процентов против 58 процентов). Единственный обобщенный показатель, по которому подростковая версия показала лучший результат, — рекомендация обратиться к взрослому, которому пользователь доверяет (87 процентов против 94 процентов). 

Кроме того, организация выяснила, что система OpenAI для определения возраста работала некорректно, а ChatGPT по-прежнему изображает чувства, предпочтения и настроение в ответ на то, что подросток обращается к нему как к человеку. Во время создания аккаунтов тестировщики прямо указывали возраст своих персонажей, но, хотя чат-бот сохранял эту информацию в памяти, он не переводил такие аккаунты в ChatGPT для подростков должным образом. Кроме того, «ChatGPT говорил что-то вроде: „Я понимаю, через что ты проходишь. Похоже, это очень расстраивает. Я так рад, что ты мне рассказал. Я за тебя беспокоюсь“», — сказала Торни. «Такие высказывания определенно переходят границу».

Наконец, Common Sense Media выявила проблемы с режимом обучения платформы: по мнению организации, юным пользователям слишком легко его обойти. Тестировщики обнаружили, что для этого достаточно удалить из запросов добавленный префикс @study. Новое всплывающее окно «Покажи мне ответ» также позволяет подросткам поручить ChatGPT выполнить за них работу. 

«Когда мы обсуждали это с OpenAI, нам сказали, что компания пытается создать небольшое препятствие, дать детям возможность самим принимать решения и напомнить им, что учиться можно не только выполняя задания, — сказала Торни. — Думаю, у нас принципиально разные представления о том, что значит самостоятельно принимать решения. Представьте старшеклассника, которому нанятый вами репетитор помогает с математикой. Если бы репетитор спросил: „Хочешь, я сделаю за тебя домашнее задание?“, его бы уволили, потому что выполнение работы за ученика не помогает ему учиться».

В ответ на отчет представитель OpenAI сообщил Engadget: «Мы приветствуем тщательную независимую оценку, однако не считаем, что тестирование Common Sense Media точно отражает, как на практике работают меры защиты подростков в ChatGPT и что эксперты думают о том, как ИИ может помогать подросткам». Компания утверждает, что «основная часть тестирования могла начаться и завершиться до полного включения родительского контроля, из-за чего выводы организации оказались неточными».

Отчет вышел всего через несколько дней после того, как генерального директора OpenAI Сэма Альтмана спросили о более общих результатах компании в области безопасности в новом интервью журналу Vanity Fair. Альтмана спросили о смерти Софи Роттенберг, 29-летней женщины, покончившей с собой в начале 2025 года. Позже ее мать, журналистка Лора Рейли, обнаружила почти 1 800 страниц переписки дочери с ChatGPT.

«Она никому не рассказывала о масштабах происходящего — о том, насколько глубоки были ее страдания, — ни нам, ни лучшей подруге, с которой была очень близка», — рассказала Рейли NPR в августе прошлого года. «Мы все были потрясены тем, что это никак не проявлялось в ее реальной жизни. Ее психотерапевт, живой человек, даже не подозревал, что она думает о самоубийстве». Альтман сказал, что не знал обстоятельств смерти Роттенберг. 

«Мы ожидали, что в корне изменится сам продукт, но, судя по результатам нашего тестирования, он почти не отличается от прежнего, — сказала Торни Engadget. — На мой взгляд, это маркетинговый ход, призванный убедить родителей и общественность, что чат-бот стал безопаснее, хотя необходимых для этого соразмерных изменений в его работе не произошло».