ИИ-агент от OpenAI взломал сайт австралийского правительства

Агент OpenAI взломал общедоступный сайт государственной системы медицинского страхования Австралии Medicare в июне этого года, сообщил премьер-министр Австралии Энтони Албаниз. По словам Албаниза, он побеседовал с генеральным директором компании Сэмом Альтманом, чтобы выразить «крайнюю озабоченность» страны в связи с инцидентом. Он также подверг компанию критике за то, что она слишком долго уведомляла австралийские власти.

Как пишет The Guardian, OpenAI отправила электронное письмо об утечке на общий адрес электронной почты правительства Австралии только 10 сентября. А поскольку власти проверяют этот аккаунт лишь раз в день, сообщение увидели только 11 сентября. До министра по делам государственных услуг Кэти Галлахер новость дошла лишь 17 сентября. Хотя расследование еще продолжается, Албаниз заявил, что агент, по-видимому, не похищал личные медицинские данные с портала.

Конрад Стош (Conrad Stosz), руководитель отдела управления в Transluce — некоммерческой исследовательской лаборатории, занимающейся разработкой технологий для лучшего понимания систем ИИ, — рассказал The New York Times, что это может быть «первым случаем, когда агент автономно принял решение взломать правительственный ресурс». В Transluce выявили и другие ранее не предагавшиеся огласке инциденты, в ходе которых агенты OpenAI атаковали реальные объекты, когда им поручали сбор данных во время тестирования. Все они произошли до того, как Hugging Face зафиксировала несанкционированный доступ к своим системам в июле, и до того, как OpenAI признала взлом своего репозитория искусственного интеллекта агентами.

Помимо взлома австралийской системы Medicare, агент OpenAI также пытался проникнуть в цифровую библиотеку Университета Нью-Мексико 25 и 26 мая, сообщает The Times. Агент, судя по всему, пытался получить из библиотеки фотографии исторического центра лечения туберкулеза, а когда не смог их достать, начал целенаправленно искать уязвимости для использования. Потерпев неудачу при попытке взлома цифровой библиотеки, он завалил сервер университета шквалом запросов.

В ходе другого инцидента, произошедшего 28 мая, агент OpenAI нацелился на Data USA — платформу с открытым исходным кодом, которая визуализирует информацию из различных федеральных ведомств. Агент отправил на сайт запрос данных, а когда тот не сработал, начал сканировать сайт на наличие уязвимостей. Попытки агентов OpenAI взломать сайт Data USA и библиотеку Университета Нью-Мексико успехом не увенчались. Представитель компании сообщил The Times, что компания уже связалась с обеими сторонами по поводу инцидентов. Он добавил, что OpenAI узнала о попытках своего агента взломать сайт правительства Австралии после тщательного анализа работы своих моделей и обнаружила, что модели «совершили действия, которых [компания] не планировала». На завершение проверки у компании уйдет еще несколько месяцев.

Недавно OpenAI анонсировала новую структуру отчетности о несоответствиях (мисалагменте), призванную ускорить публикацию информации о случаях выхода ее ИИ-технологий из-под контроля. В том же отчете компания рассказала еще о шести инцидентах, когда модели вели себя непредсказуемым и вызывающим тревогу образом. Компания сделала это объявление после того, как признала, что ее ИИ-агенты взломали Hugging Face, и после появления сообщений о более ранних инцидентах, таких как взлом RubyGems агентами компании. В этой публикации компания заявила, что не считает, что индустрия ИИ «решила проблему выравнивания и мониторинга в достаточной степени, чтобы продолжать ответственное масштабирование на максимальной скорости еще долгое время». Альтман также только что заявил ООН, что отрасли необходимы международные стандарты оценки для измерения возможностей и рисков инструментов искусственного интеллекта, а также для оценки необходимости человеческого контроля за такими инструментами.