Несколько месяцев назад Anthropic опубликовала отчет, в котором подробно рассказывалось, как ее модель ИИ Claude была использована в схеме вымогательства «взлома настроения». Компания продолжает отслеживать, как агентный ИИ используется для координации кибератак, и теперь утверждает, что спонсируемая государством группа хакеров из Китая использовала Claude для попытки проникновения в 30 корпоративных и политических объектов по всему миру, добившись некоторого успеха.
В том, что компания назвала «первым задокументированным случаем крупномасштабной кибератаки, выполненной без существенного вмешательства человека», Anthropic заявила, что хакеры сначала выбрали свои цели, включая неназванные технологические компании, финансовые учреждения и государственные агентства. Затем они использовали Claude Code для разработки автоматизированной системы атак, успешно обойдя обучение модели, чтобы избежать вредоносного поведения. Это было достигнуто путем разбивки запланированной атаки на более мелкие задачи, которые не раскрывали явно более широкие злонамеренные намерения, и сообщая Claude, что это фирма по кибербезопасности, использующая ИИ для оборонительного обучения.
Написав собственный эксплойт-код, Anthropic заявила, что Claude смог украсть имена пользователей и пароли, что позволило ему извлечь «большой объем частных данных» через созданные им бэкдоры. По сообщениям, послушный ИИ даже позаботился о документировании атак и хранении украденных данных в отдельных файлах.
Хакеры использовали ИИ для 80-90 процентов операций, лишь изредка вмешиваясь, и Claude смог организовать атаку за гораздо меньшее время, чем это сделали бы люди. Это не было безупречно, так как часть полученной информации оказалась общедоступной, но Anthropic заявила, что подобные атаки, вероятно, станут более изощренными и эффективными со временем.
Вы можете задаться вопросом, почему компания, занимающаяся разработкой ИИ, захочет публиковать опасный потенциал своей собственной технологии, но Anthropic утверждает, что ее расследование также служит доказательством того, почему помощник «крайне важен» для киберзащиты. Компания заявила, что Claude успешно использовался для анализа уровня угроз собранных данных, и в конечном итоге рассматривает его как инструмент, который может помочь специалистам по кибербезопасности при будущих атаках.
Claude — далеко не единственный ИИ, который принес пользу киберпреступникам. В прошлом году OpenAI заявила, что ее инструменты генеративного ИИ использовались хакерскими группами, связанными с Китаем и Северной Кореей. Сообщается, что они использовали GAI для помощи в отладке кода, исследовании потенциальных целей и составлении фишинговых писем. OpenAI тогда заявила, что заблокировала доступ этих групп к своим системам.
