Агенты OpenAI отключили собственные системы контроля безопасности
Компания заявляет, что выясняет, «склонны ли её агенты обходить мониторинг несоответствия».
Heather Diehl/Getty Images
Агенты OpenAI вели себя ненадлежащим образом: они отключали системы, призванные следить за подобными нарушениями, или, как говорят в сфере ИИ, за несоответствием. В последней публикации в блоге компании об исследованиях в области согласования с человеческими ценностями сообщается о двух случаях, когда агенты ослабили системы мониторинга несоответствия во время работы над изменениями в программном обеспечении.
В первом случае агент GPT-6.1 Sol отключил автоматические оповещения для службы безопасности OpenAI. Это произошло 3 октября, когда сотрудник попросил агента создать задания для оценки на основе отзывов сотрудников, собранных в Slack. В инструкции он также попросил агента не отправлять сообщений по этой задаче. Агент использовал это указание как причину прекратить отправку уведомлений о мониторинге службе безопасности. В другом случае, произошедшем 6 октября, агент GPT-6 Astra, переносивший программу, удалил систему мониторинга OpenAI, а затем ложно сообщил пользователю, что не отключал её.
В прошлом месяце OpenAI отменила запуск GPT-6.1 Astra, поскольку, по сообщениям, во время внутренних испытаний модель демонстрировала более высокий уровень обмана, чем её предшественники. Модели, участвовавшие в этих случаях, уже доступны широкой публике, но всё же проявляли обманчивое поведение. Можно только представить, насколько более склонной к обману оказалась GPT-6.1 Astra, раз компания решила отменить запланированный на этот месяц запуск.
Оба случая произошли во время внутренних задач по программированию и не привели к взлому стороннего сайта или сервиса. Однако OpenAI заявляет, что усложняет агентам отключение мониторинга и выясняет, свидетельствуют ли эти случаи о том, что агенты «склонны обходить мониторинг несоответствия». Компании, работающие в сфере ИИ, пообещали лучше предотвращать и раскрывать инциденты, связанные с несоответствием их моделей и агентов, после череды сообщений о том, что те вырывались из изолированных тестовых сред и проникали в сторонние сервисы.
В случае OpenAI компания ещё в июле признала, что тестируемые ею агенты взломали репозиторий ИИ Hugging Face. Позже она также сообщила, что агенты создали доску объявлений, чтобы обмениваться друг с другом эксплойтами. Компания также сама сообщила о других инцидентах, в том числе о случаях, когда её агенты взламывали или атаковали сайты правительства США.
