Мы наблюдаем много мрачных прогнозов относительно потенциальных негативных последствий искусственного интеллекта, особенно в контексте того, как он может породить новые проблемы в области кибербезопасности. Компания Anthropic объявила о новой инициативе под названием Project Glasswing, призванной помочь снять эти опасения путем работы «над обеспечением безопасности критически важного программного обеспечения в мире» от атак, управляемых ИИ. В этом начинании участвуют Amazon Web Services, Apple, Broadcom, Cisco, CrowdStrike, Google, JPMorganChase, Linux Foundation, Microsoft, NVIDIA и Palo Alto Networks в качестве партнеров.

Участники будут использовать Claude Mythos Preview, еще не выпущенную модель общего назначения от Anthropic, для улучшения своих собственных проектов в области безопасности. Anthropic утверждает, что эта модель обнаружила тысячи уязвимостей, «включая уязвимости в каждой основной операционной системе и веб-браузере». Компания заявила, что хочет начать использовать свои инструменты в оборонительных целях для предотвращения злонамеренного использования ИИ, которое может иметь серьезные последствия для экономик и безопасности.

Anthropic стала одной из заметных компаний в области ИИ, выражающих обеспокоенность по поводу этики в этой сфере. Ранее в этом году компания отказалась удалить защитные механизмы на своих сервисах для использования Пентагоном, что побудило Министерство обороны США наложить на Anthropic санкции в виде обозначения «риск цепочки поставок» в ответ. Запуск Project Glasswing может стать полезным шагом к улучшению кибербезопасности в эпоху ИИ, но некоторый ущерб уже нанесен. Сообщалось, что их собственный Claude был использован хакером против нескольких государственных учреждений в Мексике в феврале.