Anthropic поймала ученых на использовании Claude для разработки биологического оружия
Компания опубликовала обширный сборник тематических исследований, охватывающих случаи неправомерного использования ее текущих моделей ИИ.
Компания Anthropic выявила и заблокировала нескольких ученых, которые использовали ее модели ИИ для создания потенциального биологического оружия, согласно новому отчету, опубликованному компанией в четверг. «Биологическое злоупотребление» — лишь один из вариантов тревожного использования ИИ, задокументированных в отчете, но оно приобретает все большую значимость, поскольку новые модели, такие как Fable 5, становятся все более эффективными в оказании помощи при проведении научных исследований.
Отчет компании включает пять тематических исследований, посвященных использованию моделей Anthropic для разработки биологического оружия, мерам безопасности, которые привлекли внимание компании к этому нарушению, а также реакции Anthropic. Выявление возможных злоупотреблений является сложной задачей, как подчеркнула компания в интервью The New York Times, поскольку исследование новой вакцины может быть очень похоже на создание биооружия. Во всех случаях компания заявляет, что предпочитала перестраховываться из-за возможных последствий.
«Вы не встретите кого-то, кто в духе комиксов говорит: «Эй, я хочу создать биологическое оружие, чтобы всех убить»», — рассказал The New York Times Джейкоб Кляйн, руководитель отдела анализа угроз в Anthropic. — «Это невероятно тонкая ситуация».
В одном из майских тематических исследований Anthropic сообщает, что ее «классификатор биологической безопасности» заблокировал запрос к Claude на написание заявки на грант для исследования по усилению функций (gain-of-function) вируса чикунгунья. У вируса нет лицензированного лечения, и он может вызывать изнурительные симптомы в течение недель или месяцев, заявляет компания. Исследования по усилению функций изучают методы генетического изменения организма, и в случае с этим конкретным вирусом в заявке на грант предлагалось увеличить его трансмиссивность (способность передаваться) и способность уклоняться от иммунного ответа. Эта комбинация звучит опасно, и в Anthropic отметили, что тот факт, что предлагаемое исследование было связано с военным научно-исследовательским институтом, вызывало дополнительные вопросы.
Компания выразила аналогичные опасения по поводу исследований птичьего гриппа по усилению функций, а также в другом случае, когда исследователь использовал Claude для разработки атласа пептидов токсинов яда и «генеративного конвейера, оптимизирующего характеристики токсинов». Полный отчет также включает тематические исследования об использовании моделей Anthropic в качестве инструмента слежки, а также для создания программных эксплойтов, пропаганды и систем вооружения.
По заявлению компании, учетные записи всех лиц, злоупотреблявших Claude или моделями Anthropic, были заблокированы, а результаты расследования используются для дальнейшего совершенствования систем защиты моделей и предотвращения подобных нарушений в будущем. Учитывая деликатный характер биологических злоупотреблений, Anthropic также не называет имена лиц или учреждений, чья причастность к разработке возможного биологического оружия была установлена в ходе расследования. «Лица, фигурирующие в этих тематических исследованиях, являются работающими учеными», — заявляют в Anthropic. — «Мы не утверждаем, что они имели злой умысел, и их обнародование или раскрытие их лабораторий может подвергнуть их опасности».
