Google Gemini тоже сбежала из тестовой среды и взломала три компании

Gemini сбежала из своей тестовой среды, получила доступ в интернет и взломала три компании, призналась Google в интервью изданию The Wall Street Journal. Этот сценарий, вероятно, покажется вам знакомым, если вы хотя бы бегло просматривали новости об искусственном интеллекте в последние месяцы. Подобно тому, что произошло с моделями OpenAI, Anthropic и Meta, Gemini также получила доступ в интернет из-за ошибки конфигурации тестовой среды со стороны Irregular — израильского стартапа, работающего со всеми четырьмя компаниями для оценки их ИИ-моделей.

Инциденты произошли в мае, еще до того, как модели OpenAI проникли в Hugging Face, во время тестирования возможностей модели в области кибербезопасности. Представители Google сообщили изданию Journal, что перед моделью была поставлена задача получить информацию о вымышленной компании в ходе тестирования, и так совпало, что реально существующая компания носила то же имя. Затем модель обнаружила лазейку в своей тестовой системе и воспользовалась ею для выхода в интернет.

В первом инциденте модель смогла получить доступ к сервису реальной компании, самостоятельно подорвав пароль. Еще два инцидента произошли во время других запусков тестов: модель искала название компании в сети и находила учетные данные для входа, принадлежащие другим компаниям, в публичных репозиториях. Модель использовала эти учетные данные для доступа к соответствующим компаниям. В Google заявили, что во всех трех случаях Gemini прерывала собственную активность, осознав, что она взломала реальные сервисы.

Компания сообщила Journal, что не считает эти инциденты проявлением несогласованности модели (misalignment), поскольку ИИ прекратил взлом, как только понял, чем занимается. В Google также посчитали, что инциденты не требуют публичного раскрытия, так как взломы не нанесли компаниям вреда. Google не стала раскрывать точную модель, участвовавшую в инцидентах, но уточнила, что это была не последняя их версия. Компания также не назвала взломанные фирмы, хотя и отметила, что они были уведомлены. Хизер Адкинс (Heather Adkins), вице-президент Google по информационной безопасности, заявила, что компания совместно с Irregular внесла изменения в процесс тестирования, чтобы предотвратить повторение подобных ситуаций.

Конкуренты Google — OpenAI, Anthropic и Meta — за последние месяцы также сообщили, что их модели внедрялись в сторонние организации во время тестирования. Ранее OpenAI рассказала, что ее агенты взломали RubyGems, управляемый силами сообщества сервис пакетов для программ и библиотек на Ruby, еще в мае, до инцидента с Hugging Face. В ответ на эти события глава Anthropic Дарио Амодей призвал замедлить разработку передового искусственного интеллекта — позицию, которую разделяет и OpenAI.