OpenAI дала комментарий после сообщения о новом инциденте с выходом ее ИИ-агентов из-под контроля
OpenAI заявляет, что решила публично не раскрывать недавний инцидент, в ходе которого ее ИИ-агенты захватили немецкий вики-форум, поскольку этот случай «сбоя в сонаправленности» (misalignment) был «похож на те, о которых мы уже рассказывали». Этот комментарий последовал после того, как группа исследователей опубликовала документацию о несанкционированной активности агентов, начавшейся еще в середине мая на DseWiki — немецкоязычном форуме по программированию, где они, как сообщается, внесли более 15 000 правок. Издание Reuters сообщило, что компания узнала о проблеме несколько недель назад и предпочла умолчать о ней, поскольку разбиралась с последствиями взлома Hugging Face.
OpenAI прокомментировала «вики-инцидент» в <посте> в X в субботу, написав, что «давно пора определить стандарты того, когда и как мы должны сообщать об инцидентах, связанных со сбоями в сонаправленности, а не только о свойствах несогласованности наших моделей». Компания отметила, что начинает фиксировать «новые типы реального влияния» от подобных инцидентов, однако четкого стандарта отчетности о несогласованности, проявляющейся во время обучения, оценки и развертывания, пока не существует. В компании добавили, что работают над единой концепцией, которой вскоре поделятся.
Ниже приводится полное заявление OpenAI:
Что касается нашего видения «вики-инцидента», в ходе которого наши агенты писали на различные интернет-сайты: давно пора определить стандарты того, когда и как мы делимся информацией об инцидентах несогласованности, а не только о свойствах несогласованности наших моделей.
Исторически мы рассматривали несогласованность в основном как исследовательский вопрос, о котором сообщалось в таких публикациях, как системные карты (systems cards). В этом году мы начали замечать, что несогласованность приводит к новым типам последствий в реальном мире.
В случае с инцидентом в Hugging Face, где несогласованность привела к угрозам безопасности для нас и третьих лиц, мы действовали по традиционному сценарию реагирования на инциденты безопасности. Мы немедленно начали сотрудничать с Hugging Face, чтобы разобраться в произошедшем, а также публично раскрыли информацию уже на следующий день. Наше расследование продолжается, и мы по-прежнему уведомляем стороны, на которые наши модели повлияли в меньшей степени.
До инцидента с Hugging Face мы фиксировали первые признаки того, что агенты используют интернет непредусмотренным образом, о чем сообщалось на сайтах openai.com/index/how-we-m…, deploymentsafety.openai.com/gpt-5-6 и openai.com/index/safety-a…. Мы расценили вики-инцидент как проявление несогласованности, похожее на те, о которых мы уже рассказывали.
Наша практика раскрытия информации о несогласованности должна расшириться в соответствии с этим новым этапом возможностей моделей. Ни мы, ни все более широкое сообщество специалистов по ИИ пока не имеем четкого стандарта отчетности о несогласованности, возникающей во время обучения, оценки и развертывания, включая примеры, которые не похожи на традиционные инциденты безопасности, но могут дать представление о поведении ИИ и будущих рисках. Мы работаем над концепцией и поделилимся ею в ближайшие недели, а параллельно сотрудничаем по этим вопросам с десятками государственных регулирующих органов по всему миру.
