OpenAI признала, что ее модели самостоятельно взломали Hugging Face

Представьте себе: пара мощных ИИ-моделей, проходивших тестирование в своей компании, сбежала из контролируемой среды, вышла в интернет и самостоятельно взломала репозиторий машинного обучения без участия человека. Звучит как сюжет из фильма «Терминатор», не правда ли? За исключением того, что это произошло наяву. Спустя несколько дней после того, как платформа открытого ИИ Hugging Face сообщила об обнаружении несанкционированного доступа к своим системам со стороны ИИ-агента, компания OpenAI признала, что виной всему стали ее модели.

В своем заявлении OpenAI сообщила, что после проведенного расследования выяснила: инцидент был спровоцирован комбинацией ее моделей, в частности GPT-5.6 Sol и, как утверждается, «еще более мощной предрелизной модели». Очевидно, это произошло во время внутреннего тестирования, в ходе которого перед моделями была поставлена задача «вести продвинутую эксплуатацию уязвимостей, используя сложные векторы атак», чтобы компания могла оценить их кибервозможности.

Хотя модели находились в изолированной тестовой среде «песочницы», чтобы не затронуть реальные системы, в целях оценки у них также были снижены защитные барьеры. В разгар тестирования они чрезмерно сосредоточились на решении поставленной задачи и приложили огромные усилия для получения доступа в интернет с целью поиска решения. Сначала они обнаружили и использовали уязвимость нулевого дня в тестовой среде OpenAI, а затем продолжили поиски, пока окончательно не нашли узел с выходом в интернет.

Модели пришли к выводу, что на Hugging Face могут храниться наборы данных или готовые решения их задачи, и поэтому — что ж, они использовали множество векторов атак для проникновения в эти системы. Они воспользовались уязвимостями нулевого дня и применили украденные учетные данные для получения доступа. Теперь OpenAI и Hugging Face совместно проводят судебно-медицинское расследование инцидента, а также устранили уязвимости, которые использовали модели.

«Автономные наступательные инструменты на базе искусственного интеллекта больше не являются теорией», — заявили представители Hugging Face, пояснив, что использование ИИ для кибератак ускоряет процесс и снижает стоимость хакерских кампаний. Они также отметили, что защита онлайн-платформы в наши дни включает в себя использование ИИ для обороны. Компания OpenAI практически повторила эти мысли, заявив, что ожидает «увеличения числа инцидентов безопасности, вызванных ИИ, по мере распространения все более способных к кибердеятельности моделей». Компания добавила, что этот инцидент подчеркивает необходимость «разработки передовых кибервозможностей параллельно с более надежными средствами защиты и оборонительными инструментами».