Что произойдёт, когда ИИ начнёт самовоспроизводиться?

Команда Frontier Red Team компании Anthropic недавно опубликовала исследование, согласно которому небольшие модели ИИ могут уже через несколько месяцев научиться размножаться и распространяться по незащищённым устройствам, создавая медленно действующие, но трудноуничтожимые автономные ботнеты. ИИ-компании не впервые разыгрывают сценарии гибели мира из-за своих продуктов в рекламных целях, однако в данном случае эксперты, с которыми поговорил Engadget, в целом согласны: в ближайшем будущем небольшие модели ИИ могут научиться самовоспроизводиться. Однако реальная угроза, которую они представляют, может быть не такой новой, как кажется.

«Возможно, это случится немного раньше, чем я ожидал. Я предполагал, что по-настоящему обеспокоиться придётся примерно летом следующего года, — говорит Крис Канал, генеральный директор EquiStamp, компании, которая сотрудничает с ИИ-лабораториями, организациями по безопасности и правительствами, проверяя и оценивая модели. — У Anthropic, вероятно, есть сотрудники, располагающие сведениями о передовых исследованиях, к которым у меня нет доступа. Поэтому их прогнозы вполне могут быть точнее». Канал связывает недавние темпы развития моделей с тем, что сотрудники Anthropic и других ведущих лабораторий используют собственные инструменты ИИ для исследований в области машинного обучения.

«Я думаю, что [самовоспроизводящиеся модели] появятся в будущем. Думаю, они реальны. Думаю, мы их увидим, — говорит Майкл Бейли, профессор Школы кибербезопасности и конфиденциальности Технологического института Джорджии. — Обретут ли они именно ту форму и будут ли иметь те же последствия, о которых заявляет [Anthropic], — вопрос совершенно открытый».

Бейли изучает интернет-червей с начала 2000-х годов, а в последнее время — ботнеты. В 2017 году он стал соавтором статьи «Разбираемся в ботнете Mirai», на которую Anthropic ссылается в своём исследовании. Mirai позволил группе киберпреступников создать крупный ботнет из устройств интернета вещей, который они позже использовали для DDoS-атаки на PlayStation Network компании Sony. В результате пострадала Dyn — один из крупнейших DNS-провайдеров в США. Атака нарушила работу значительной части интернета в 2016 году, отключив Amazon, GitHub, PayPal, Reddit и Twitter для многих пользователей в США и некоторых странах Европы. Финансовые последствия атаки были значительными: по оценке Sony, её чистая выручка сократилась примерно на 2,7 миллиона долларов.

«Mirai показал, что ботнеты можно собирать из обычных устройств — кабельных маршрутизаторов, IP-камер и тому подобной техники, — и использовать их, — говорит Бейли. — Мы думали, что такие устройства не представляют интереса для злоумышленников ни как цели, ни как источники вычислительных ресурсов для атак. На деле они вполне эффективно подходят для этого».

Спустя десятилетие Anthropic утверждает, что ИИ-черви могут стать значительным шагом вперёд по сравнению с Mirai и другими ботнетами с жёстко заданными алгоритмами, такими как Kimwolf, поскольку смогут самостоятельно разбираться в незнакомых устройствах. По словам Бейли, сама по себе адаптивность не нова. Mirai уже работал с «гетерогенными» устройствами — от маршрутизаторов до IP-камер на разных архитектурах процессоров. Но возможности адаптации были ограничены: для каждой новой архитектуры требовался труд человека, как минимум — перекомпиляция вредоносной программы. По словам Бейли, новизна заключается в перспективе автоматизировать эту работу с помощью ИИ, хотя он не считает, что Anthropic убедительно это продемонстрировала.

Поэтому, предполагает Бейли, более совершенные модели ИИ «перераспределят» работу по созданию ботнетов. «Они не будут делать ничего принципиально нового, — говорит он. — Они изменят баланс сил между атакующими и защитниками». Anthropic показала, что модель может перемещаться между устройствами и запускать на каждом из них инференс, но эксперимент проводился в эмулируемой сети, где использованная «уязвимость» была тривиальной. Кроме того, Бейли не согласен с утверждением Anthropic о самовоспроизведении.

«Это описание не совсем точное, потому что речь идёт о таких вещах, как шардирование. Само по себе это не плохо, но это не червь и не вирус. Полноценного распространения здесь нет», — говорит он. Вместо этого, считает Бейли, реальный ИИ-ботнет мог бы работать скорее как дроппер — разновидность вредоносной программы, которая закрепляется на устройстве и устанавливает другой код. Ботнет не стал бы целиком копировать себя на каждую заражённую машину, а устанавливал бы небольшой инструмент координации, получающий команды из других частей сети.

«Идея о том, что сама вредоносная программа самовоспроизводится, как существующие интернет-черви, — то есть я копирую точную копию своего кода на устройство с новой архитектурой, и там запускается новый агент, — не совсем соответствует происходящему», — говорит Бейли. Он также отмечает, что черви могут быть полиморфными: менять и свою сигнатуру, и поведение. Чтобы ИИ-ботнет мог делать то же самое, ему пришлось бы переобучать собственные модели, чего Anthropic не пыталась сделать. Ближе всего к этому компания подошла, показав, что копии модели могут передавать заметки своим преемникам и со временем лучше справляться с настройкой инференса.

Как и в случае с любым предупреждением, прозвучавшим из ИИ-лаборатории, стоит спросить, не опубликовала ли Anthropic это исследование в рекламных целях — особенно учитывая, что вскоре после этого компания официально подала документы для выхода на IPO. «Вероятнее всего, компании опасаются, что другие игроки рынка ИИ ведут себя безответственно, — говорит Канал. — Они понимают, что заинтересованы создать лучшую модель и быстрее вывести её на рынок, чтобы получить долю рынка, и знают, что у других компаний такие же стимулы».

Независимо от того, является ли эта новая угроза разновидностью червя и насколько далёким может быть её появление, предложенные самой Anthropic способы смягчить возможный вред удивительно традиционны. Компания предлагает интернет-провайдерам уведомлять клиентов о заражении, а затем ограничивать им доступ в интернет, оставляя лишь короткий список безопасных сайтов, — этот способ успешно применялся во время эпидемии Mirai. Компания также рассматривает регулирование как возможное решение и приводит в пример Великобританию, где легко угадываемые пароли по умолчанию на устройствах интернета вещей теперь запрещены законом PSTI.

В этой связи Бейли утверждает, что надлежащая реакция на ИИ-червей «гораздо больше похожа на то, чем мы занимаемся в сфере безопасности систем уже очень давно, чем на что-то особенное для ИИ». По словам Канала, в действительности было бы трудно добавить в модель с открытыми весами защитные механизмы, которые не позволили бы ей действовать как червь. «Идей много, но пока нет ничего надёжного», — говорит он. В ходе работы с некоммерческой исследовательской организацией по безопасности ИИ FAR.AI компания EquiStamp обнаружила, что «в основном срабатывает практически любая стратегия удаления защитных механизмов модели, которую можно найти в Google».

Но, как отмечает Бейли, «даже ведущим себя неправильно агентам будет непросто, если они столкнутся с защищёнными устройствами». Если из исследования Anthropic и можно сделать какой-то вывод, говорит он, так это то, что мы постоянно забываем уроки безопасности, усвоенные в прошлом. В эпоху ИИ-червей безопасность, вероятно, будет выглядеть примерно так же, как и сейчас. «Нужно следить за обновлениями устройств, изоляцией, надёжными паролями и соблюдением правил цифровой гигиены», — говорит Бейли. Эти решения легко описать, но, как известно, сложно внедрить. И всё же, если ИИ действительно сделает подобные атаки более распространёнными, у нас может не остаться выбора.