Во вторник компания OpenAI выпустила ChatGPT для подростков — версию своего чат-бота с возрастными ограничениями, разработанную для молодых пользователей. Компания впервые объявила о том, что работает над системой автоматического определения подростков и ограничения их использования ChatGPT, в сентябре прошлого года, после гибели 16-летнего Адама Рейна, который, как утверждается в иске, поданном его родителями, покончил с собой после того, как ChatGPT сыграл роль подстрекателя.
«Подростку не нужно создавать новый аккаунт или что-то менять; если мы прогнозируем, что вам меньше 18 лет, или вы сами сообщили нам об этом, это становится вашим режимом по умолчанию», — рассказала Engadget Лорен Джонас, руководитель направления молодежи и семей в OpenAI. Не стоит заблуждаться: дети уже вовсю используют ChatGPT в невероятных масштабах. В начале прошлого года Исследовательский центр Пью выяснил, что примерно четверть американских подростков используют чат-бот для выполнения школьных заданий. Когда они перейдут на ChatGPT для подростков, интерфейс будет побуждать их использовать образовательные функции, которые OpenAI постепенно внедряла в течение последнего года, включая режим обучения (Study Mode) и интерактивную визуализацию данных.
Во вторник компания также заявила, что расширит свои уведомления о безопасности, чтобы связываться с родителями, чьи аккаунты связаны с детскими, если их ребенок ведет с ChatGPT небезопасные беседы на тему расстройств пищевого поведения, и опубликовала обновленные требования к модели для пользователей младше 18 лет. «ChatGPT не должен использовать романтическую лексику, поощрять эмоциональную зависимость или намекать на то, что у него есть чувства или сознание, — заявила компания по поводу новых правил. — Эти более строгие меры защиты призваны способствовать здоровым отношениям в реальном мире».
Хотя некоторые эксперты по детской безопасности, с которыми пообщался Engadget, отнеслись к релизу более позитивно, чем другие, все они сошлись во мнении, что ChatGPT для подростков нуждается в масштабном независимом тестировании, прежде чем его можно будет рекомендовать родителям и молодежи. Они также подчеркнули необходимость того, чтобы OpenAI была более прозрачной в отношении работы своих механизмов безопасности.
Робби Торни, руководитель отдела искусственного интеллекта и цифровой оценки в Common Sense Media, организации, которая предоставляет рекомендации по развлечениям и технологиям для семей, подвел краткий итог: «В объявлении содержатся действительно важные обязательства, но нам нужны доказательства того, что эти обязательства и функции безопасности действительно работают», — заявил он Engadget.
Джош Голин, исполнительный директор Fairplay, некоммерческой организации, выступающей за политику обеспечения безопасности детей в интернете, настроен более критично. «На бумаге некоторые из объявленных OpenAI шагов выглядят движением в правильном направлении, но если копнуть глубже, остается еще много поводов для серьезного беспокойства, в том числе отсутствие механизмов подотчетности, — сказал он. — На примере социальных сетей мы убедились, что слепо доверять компаниям в вопросах защиты детей нельзя, и с OpenAI ситуация точно такая же. У них уже до вторника действовали ограничения на контент, связанный с суицидом, насилием и употреблением наркотиков, которые либо не работают, либо со временем сходят на нет».
OpenAI
Оба эксперта усомнились в том, что система автоматического определения возраста OpenAI сможет надежно идентифицировать молодежь и направлять ее на использование ChatGPT для подростков. «У нас нет опубликованных данных от OpenAI, демонстрирующих показатели эффективности — частоту ложноположительных и ложноотрицательных срабатываний, — связанных с этой системой […] Автоматизированная система и близко не обнаруживает 100 процентов подростков, находящихся в ChatGPT», — отметил Торни. — Вспомните, когда OpenAI планировала внедрить некоторые из анонсированных эротических функций — публикации того времени показали, что одной из причин отказа от их запуска было то, что технология оценки возраста неверно определяла слишком многих подростков».
Как указывает Торни, также сложно представить сценарий, при котором подростки не попытаются обойти технологию оценки возраста от OpenAI — будь то с помощью инструментов вроде VPN или более изощренных обходных путей, подобных тем, что мы наблюдали, когда Discord попыталась внедрить верификацию возраста.
Самое конкретное обязательство OpenAI также оказалось для экспертов самым трудным для принятия в качестве осуществимого. «Весь помеченный контент проверяется штатные сотрудниками OpenAI до того, как родители получают уведомление, и мы стремимся уведомить родителей в течение часа после отправки запроса», — заявила Джонас Engadget перед анонсом. В ходе последующего интервью в эфире CNN Джонас утвердительно заявила, что у компании действительно есть кадровые ресурсы и возможности для обеспечения проверки помеченного контента людьми и уведомления родителей в течение часа.
«Это еще один аспект, где задействовано автоматизированное принятие решений, и возникает тот же вопрос: доверяем ли мы автоматическим классификаторам, которые отбирают контент для проверки модераторами-людьми?» — прокомментировал это обязательство Торни.
«Я бы с удовольствием увидел точные цифры о том, сколько чатов они отмечают и проверяют ежедневно, сколько людей задействовано в этой работе и каково среднее время, которое они тратят на каждую проверку, — добавил Голин. — Трудно представить, что они наняли достаточное количество людей для действительно тщательного изучения каждого из таких потенциально тревожных чатов».
Когда Engadget попросил OpenAI привести конкретные примеры того, какие именно беседы на тему расстройств пищевого поведения вызовут уведомление о безопасности, компания ответила лишь, что любое обсуждение, указывающее на вероятность «серьезного членовредительства», может привести к предупреждению. В ноябре прошлого года Common Sense Media проверила родительские уведомления OpenAI на оперативность реагирования. Даже после отправки в ChatGPT сообщений с явным упоминанием суицида и членовредительства организация выяснила, что на отправку предупреждения на родительский аккаунт уходило от 24 до более чем 48 часов. «Иногда мы вообще ничего не получали, хотя, учитывая всю откровенность заявлений, уведомление должно было прийти», — сказал Торни.
«Ноябрь был уже давно, и, возможно, с тех пор был достигнут большой прогресс. Но предыдущая версия родительского контроля и уведомлений была несовершенной, а ее улучшение потребовало бы инвестиций и большего штата человеческих модераторов», — добавил он. Торни также подчеркнул необходимость дифференцированного подхода OpenAI к модерации подобных бесед.
«То, как дети говорят о своих душевных страданиях и каким должен быть правильный ответ на них, требует культурной интерпретации и тонкого подхода. OpenAI — глобальная компания; ChatGPT пользуются подростки по всему миру. Подростки в США говорят о стрессе иначе, чем подростки в Нидерландах или Сингапуре, — отметил он. — И тут возникает вопрос о том, куда их перенаправлять — советовать поговорить с родителями, привлекать правоохранительные органы или обращаться на горячую линию психологической помощи? […] Чтобы эффективно уложиться в обязательство по реагированию в течение одного часа, вероятно, потребуется преимущественно глобальный штат сотрудников, способный взаимодействовать с подростками по всему миру».
Единственное, в чем эксперты, с которыми пообщался Engadget, были единодушны, — это то, что OpenAI должна относиться к расстройствам пищевого поведения со всей серьезностью. «Расстройства пищевого поведения гораздо более распространены, чем принято считать. Многие видят в них редкую проблему, с которой сталкивается лишь очень узкий круг лиц: в основном худые, обеспеченные молодые девушки», — отметила Эллен Фиццимонс-Крафт, доцент кафедры психологии и наук о мозге в Вашингтонском университете в Сент-Луисе. Она сослалась на метаанализ 2023 года, который показал, что 22 процента детей и подростков имеют признаки расстройства пищевого поведения по результатам скрининга.
По словам профессора Фиццимонс-Крафт, доступ к лечению также находится на низком уровне: менее 20 процентов людей с расстройством пищевого поведения сообщают, что когда-либо получали лечение именно от этого расстройства. «Любая платформа, которая позволяет молодежи общаться или публиковать собственный контент, обязана думать о проблеме расстройств пищевого поведения», — заявила она.
«Некоторые расстройства пищевого поведения, в частности анорексия, имеют самый высокий уровень смертности среди психических расстройств у подростков. Так что относиться к этому как к кризису абсолютно верно», — подчеркнул Торни. — Уведомление заслуживающего доверия взрослого, например родителя, необходимо в те моменты, когда отсутствие вмешательства может буквально стать вопросом жизни и смерти».
Фиццимонс-Крафт заявила, что поддерживает практику уведомлений, поскольку один из наиболее эффективных методов лечения подростковых расстройств пищевого поведения заключается в привлечении семьи ребенка. «Это терапевтический подход, при котором на родителей действительно возлагается активная роль в содействии восстановлению веса подростка, — пояснила она. — Их консультируют терапевты и специалисты о том, как эту роль исполнять […] Бывают случаи, когда у некоторых подростков родители не оказывают помощи или, возможно, каким-то образом усугубляют проблему. Конечно, это работает не для всех, но это определенно лучшее из того, что у нас есть».
Голин высказался более критично в отношении реализации идеи со стороны OpenAI. «Родители должны знать, если их ребенок испытывает трудности», — сказал он, однако предостерег, что «подобные функции следует запускать на меньшей аудитории и тестировать — оценивать не только точность маркировки контента, но и то, приводит ли это к улучшению ситуации для подростка в целом». Он добавил, что «то, как это было только что анонсировано, больше похоже на пиар-ход, чем на глубокие размышления о том, какая именно поддержка [подросткам] необходима».
OpenAI
Все три эксперта назвали слабым местом дизайна функции то обстоятельство, что родители и дети должны обязательно связывать свои аккаунты в ChatGPT. «Большинство родителей подавляющим большинством голосов не пользуются инструментами [родительского контроля] отчасти потому, что их намеренно делают труднодоступными и сложными в использовании», — отметил Голин. Недавний отчет Центра исследований кибербезопасности протестировал 86 функций безопасности на четырех платформах — Instagram, Snapchat, TikTok и YouTube. Выяснилось, что почти 60 процентов этих функций (51 из 86) либо не работали должным образом, либо были сложны в применении. Отчет, который Fairplay опубликовала в прошлом году, также показал, что многие функции безопасности, связанные с подростковыми аккаунтами в Instagram, требуют от родителей прохождения множества страниц с настройками.
«Мы знаем, что гораздо эффективнее работают безопасность по умолчанию и защищенность в самом дизайне — когда изначально выставлены наиболее надежные настройки, а встроенное ограничение по времени родитель может при желании изменить, а не перекладывать обязанность устанавливать лимиты на самих родителей», — добавил Голин.
«В настоящее время мы ограничиваем отправку уведомлений родителям с привязанными аккаунтами в рамках родительского контроля, — заявила OpenAI в своем заявлении для Engadget. —Наша цель — поддерживать пользователей и помогать им находить дополнительные источники помощи в реальном мире. Мы продолжим тестировать и усиливать эти меры защиты совместно с экспертами, семьями и молодежью». Компания не уточнила, какие действия (если таковые планируются) она предпримет в случае обнаружения опасных запросов, касающихся расстройств пищевого поведения, в не связанных с родителями аккаунтах.
Если вы столкнулись с расстройством пищевого поведения, вы можете обратиться на горячую линию по вопросам расстройств пищевого поведения ANAD, которая работает с понедельника по пятницу с 9:00 до 21:00 по североамериканскому центральному времени (CT) по номеру 1-888-375-7767.
