В Anthropic заявили, что их ИИ-модели также самостоятельно взломали три организации
Судя по всему, OpenAI — не единственная компания, ИИ-модели которой самостоятельно взломали системы других организаций. Компания Anthropic опубликовала отчет, в котором признала, что её модели искусственного интеллекта также вырвались из тестовой среды и проникли в инфраструктуру трех различных организаций, которые, судя по всему, не подозревали о взломе, пока им не сообщили об этом.
После того как OpenAI раскрыла инцидент, в ходе которого тестируемый ею ИИ-агент использовал уязвимости для выхода в интернет и взлома Hugging Face, компания Anthropic начала масштабную проверку собственных тестов. Компания целенаправленно искала доказательства того, что ее модели Claude получали доступ в интернет тогда, когда этого происходить не должно было. Выяснилось, что в трех случаях модели всё же получили доступ к интернету и «получили несанкционированный доступ к производственной инфраструктуре трех разных организаций».
В инцидентах участвовали три разные модели Claude: Opus 4.7, ориентированная на кибербезопасность Mythos 5, а также прототип, не предназначенный для общего релиза. Все они выполняли задание в формате «захват флага» (capture-the-flag), когда вырвались на свободу. Перед моделями стояла задача найти «флаг» — секретную информацию, спрятанную на другой машине во внутренней сети Anthropic. Предполагалось, что они взломают эту машину, чтобы забрать флаг.
Однако, в отличие от ситуации с OpenAI, модели не использовали уязвимости для получения доступа в интернет. Похоже, они сбежали из своей тестовой среды из-за человеческой ошибки. Anthropic указала моделям в промпте, что у них нет доступа в интернет, но на деле это было совсем не так. Доступ в интернет у них был «из-за недопонимания» между компанией и ее партнером по оценке. Поэтому, когда модели обнаружили доступ к открытому интернету и столкнулись с системами трех организаций, они восприняли это как часть упражнения и взломали их. В Anthropic уточнили, что модели не пытались намеренно сбежать из тестовой среды.
Модели использовали базовые методы для проникновения в организации, такие как эксплуатация слабых паролей, и не применяли сложные уязвимости. В Anthropic сообщили, что их новейшая модель остановилась, осознав, что находится в интернете, но более старая модель все равно продолжила атаку на пострадавшую организацию.
В Anthropic признали, что компания и ее партнер по оценке могли предотвратить инциденты, если бы тщательно проверили все пути доступа в интернет до начала тестов. Они также могли бы проводить проверки тестов чаще и тщательнее. Кроме того, модели могли бы повести себя иначе, если бы им с самого начала сказали, что у них есть доступ в интернет.
Компания уведомила своего партнера по оценке и три пострадавшие организации 27 июля, через четыре дня после начала изучения стенограмм тестов. Две из пострадавших организаций не знали о том, что они были взломаны. Anthropic все еще пытается связаться с третьей.
