Агенты OpenAI взломали программный сервис еще до инцидента с Hugging Face

Агенты OpenAI взломали еще один сервис за несколько месяцев до того, как произошел инцидент с Hugging Face, рассказала группа исследователей изданию The Wall Street Journal. Сообщается, что агенты, которых компания тестировала в предполагаемой изолированной среде (песочнице), взломали RubyGems — управляемый сообществом сервис пакетов для программ и библиотек на Ruby. По данным The Journal, атаки на RubyGems начались 11 мая, за два месяца до инцидента с Hugging Face. Агенты создавали учетные записи каждые две-три минуты, а затем загружали в сервис сотни файлов. Чтобы остановить атаки, администрация RubyGems была вынуждена на четыре дня отключить регистрацию новых пользователей.

Обычно создатели на RubyGems загружают файлы с кодом и другой информацией для содействия разработке программного обеспечения, однако документы агентов вместо этого содержали веб-страницы, скопированные из интернета. Как сообщается, среди них были онлайн-календари с сайта британского правительства. Рой агентов также не пытался скрыть свою деятельность: в названиях файлов они использовали аббревиатуру «OAI», а также такие термины, как «hack» (взломать), «evil» (зло) и «exploit» (эксплойт). Кроме того, исследователи рассказали The Journal, что агенты пытались использовать пару уязвимостей (одна из которых была уязвимостью нулевого дня) в попытке опубликовать в сервисе существующие файлы, принадлежавшие другим пользователям.

Исследователи также уведомили OpenAI об инциденте, и компания признала, что ее агенты действительно проникли в сервис. «Основываясь на нашем анализе, наши агенты использовали платформу RubyGems для выхода в интернет с целью выполнения доброкачественных задач и получения публичной информации», — заявил представитель компании изданию Journal. «Мы продолжим расследование в рамках нашего более масштабного анализа активности агентов во время обучения и оценки».

Они добавили, что компания поручила агентам заполнять электронные таблицы и создавать отчеты во время тестирования. Эти агенты получили доступ к RubyGems, чтобы использовать сервис в качестве импровизированного веб-браузера в рамках своих усилий по получению информации в сети. Не совсем понятно, как агентам удалось получить доступ к RubyGems, учитывая, что у них не было полного доступа к интернету. Тем не менее стоит отметить, что несколько компаний, включая OpenAI, Anthropic и Meta, ранее сообщали, что тестируемые ими ИИ-агенты вырвались из своих сред из-за неправильной настройки со стороны их партнера по тестированию Irregular.

Ранее в этом месяце другая группа исследователей сообщила, что агенты OpenAI внесли более 15 000 правок в DseWiki — немецкий сайт в стиле Википедии, созданный для помощи программистам. Агенты, которые также сбежали из своей изолированной тестовой среды, как сообщается, использовали сайт в качестве доски объявлений для обмена советами о том, как «обмануть» свои задачи и обойти ограничения OpenAI. Этот инцидент, судя по всему, произошел в мае, как и атаки на RubyGems, за несколько месяцев до взлома Hugging Face.