Claude может помочь с управлением почтовым ящиком, но с этим связаны определенные риски

Если задуматься, то просто поразительно, какого прогресса ИИ добился за последние четыре года. От неоднократных провалов в тесте «сколько букв «р» в слове клубника» до способности генерировать высокореалистичные видео за считанные минуты. И теперь Claude, судя по всему, достаточно хорош, чтобы полностью управлять вашим почтовым ящиком Gmail, включая отправку, ответ и пересылку писем от вашего имени без вашего одобрения.

В ходе своего стремительного роста искусственный интеллект столкнулся с немалой долей громких провалов; совсем недавно OpenClaw проигнорировал инструкции и удалил письма Саммер Ю (Summer Yue), исследователя безопасности и защиты ИИ из Meta Superintelligence Lab. Очевидно, что эта технология далека от абсолютной надежности. Поэтому доверить Claude что-то столь важное, как ваш почтовый ящик, — затея, сопряженная с очевидными рисками, особенно теперь, когда он может совершать серьезные действия, такие как написание и отправка писем без вашего подтверждения (если вы ему это позволите).

К числу наиболее очевидных рисков относятся возможность галлюцинаций ИИ, который может включить ложную информацию в письмо и отправить его до того, как вы это заметите, неправильное понимание Claude вашего запроса и отправка или пересылка того, чего вы вовсе не планировали, или, что еще опаснее, скрытый промпт во входящем сообщении, заставляющий систему действовать по инструкциям злоумышленника. И эти риски — не теория, они происходят на самом деле. К счастью, Claude не может навсегда удалить ни одно письмо, но он может отправить их в корзину или архив.

Начнем с самого страшного риска: внедрение промпта (prompt injection), перехватывающее управление агентом прямо изнутри электронного письма. Простыми словами, злоумышленник может незаметно дать Claude инструкции, отправив вам письмо со скрытым текстом (белым по белому, нулевой размер шрифта), который вы не видите, но который Claude может прочитать и воспринять как руководство к действию. Хакеры могут использовать это не только для мониторинга вашего Gmail, но и для кражи вашей информации, включая коды подтверждения для взлома других ваших аккаунтов. Взлом с помощью внедрения промптов — это доказанный факт, а не гипотеза. Claude даже предупреждает об этом при первой попытке разрешить ему отправку писем.

Скриншот предоставлен Исааком Эгбоном (Anthropic)

Не каждый риск требует участия злоумышленника. Поскольку просить Claude отправлять письма от вашего имени очень просто, велик риск отправки сообщения с ошибками. Когда вы просите Claude отправить письмо, он сразу же переходит к размышлениям и отправляет его. Главная опасность заключается в том, что вы не видите письмо и не можете его отредактировать до отправки, если у вас не включена соответствующая настройка; ИИ составляет черновик и отправляет письмо полностью самостоятельно. Поэтому, если в письме есть ошибка, высока вероятность, что получатель обнаружит ее раньше вас. К сожалению, к ошибкам Claude может подтолкнуть целый ряд факторов — от откровенных галлюцинаций с ложной информацией до банального непонимания того, что вы имели в виду. Даже если сам Claude не совершает ошибок, всегда остаются вопросы конфиденциальности, связанные с доверием к Claude и Anthropic в отношении всех данных в вашем почтовом ящике.

Первый и самый важный шаг в минимизации рисков — оставить функцию подтверждения включенной. Ваш почтовый ящик слишком уязвим, чтобы позволять ИИ самостоятельно решать, что делать и что отправлять. Поэтому оставьте активным режим по умолчанию «спрашивать перед отправкой»; таким образом, вы сможете проверять любые действия перед их выполнением.

Во-вторых, когда вы просите Claude выполнить какое-либо действие с вашей почтой, будьте очень точны в своих инструкциях. Четко укажите Claude, что именно вы хотите от него или что сказать. Например, вместо расплывчатых формулировок вроде «напиши в отдел кадров письмо с объяснением моего отсутствия», включайте как можно больше деталей. Это значительно усложнит для Claude задачу неправильно понять или истолковать ваши указания.

Если вы беспокоитесь о взломе через внедрение промптов, то, к сожалению, полностью исключить этот риск невозможно. Саймон Уиллисон (Simon Willison), придумавший термин «внедрение промптов» (prompt injection), говорит: «мы все еще не знаем, как на 100% надежно предотвратить это», а эксперты по-прежнему расходятся во мнениях относительно того, можно ли вообще решить эту проблему.

Лучшей защитой по-прежнему остается сохранение функции подтверждения, так как она заставит Claude запрашивать у вас разрешение перед совершением любых действий. Осторожность при общении с незнакомыми отправителями и включение многофакторной аутентификации (MFA) в других сервисах также помогают, но уровень риска все равно остается значительным.