Во вторник появились две новости о разработчике Claude компании Anthropic, которые, будучи объединенными, рисуют довольно мрачную картину. Во-первых, министр обороны США Пит Хегсет reportedly оказывает давление на Anthropic, чтобы та отказалась от своих гарантий безопасности ИИ и предоставила военным неограниченный доступ к своему чат-боту Claude AI. Затем компания выбрала тот же день, когда появились новости о Хегсете, чтобы отказаться от своего основного обязательства по безопасности.

Во вторник Anthropic заявила, что модифицирует свою Политику ответственного масштабирования (Responsible Scaling Policy, RSP), снизив уровень мер безопасности. До сих пор основным обязательством компании было прекращение обучения новых моделей ИИ, если заранее не могут быть гарантированы конкретные руководящие принципы безопасности. Эта политика, устанавливавшая жесткие «красные линии» для остановки разработки, была значительной частью предложения Anthropic бизнесу и потребителям.

«Спустя два с половиной года наша честная оценка такова: некоторые части этой теории изменений оправдали наши надежды, а другие — нет», — написала Anthropic. Теперь обновленная политика рассматривает безопасность релятивистски, а не со строгими «красными линиями».

Цитаты Anthropic в интервью журналу Time звучат в вакууме вполне разумно. «Мы считали, что остановка обучения моделей ИИ никому не поможет», — сказал Time Джаред Каплан, главный научный сотрудник Anthropic. «Мы не очень верили, что при быстром развитии ИИ имело смысл брать на себя односторонние обязательства… если конкуренты несутся вперед».

Но можно также истолковать эти цитаты как последний пример того, как этика быстрорастущего стартапа становится все более серой по мере роста его оценки. (Вспомните старую мантру Google «Не будь злом», которую позже удалили из их кодекса поведения?) Последние версии Claude получили широкое признание, особенно в области программирования. В феврале Anthropic привлекла 30 миллиардов долларов новых инвестиций. Ее текущая оценка составляет 380 миллиардов долларов. (Говоря о конкурентах, которых имел в виду Каплан, конкурент OpenAI в настоящее время оценивается в более 850 миллиардов долларов.)

Вместо прежних «красных линий» Anthropic внедрит новые «Отчеты о рисках» и «Дорожные карты по передовой безопасности». Эти модели раскрытия информации призваны обеспечить прозрачность для общественности вместо жестких границ.

Anthropic заявляет, что изменение было мотивировано «проблемой коллективных действий», связанной с конкурентной средой в области ИИ и антирегуляторным подходом США. «Если один разработчик ИИ приостановит разработку для внедрения мер безопасности, в то время как другие будут продолжать обучение и развертывание систем ИИ без строгих мер смягчения последствий, это может привести к менее безопасному миру», — говорится в новой RSP. «Разработчики с наименьшими гарантиями будут задавать темп, а ответственные разработчики потеряют возможность проводить исследования в области безопасности и способствовать общественному благу».

Ни в объявлении Anthropic, ни в эксклюзиве Time не упоминается слон в комнате: кампания давления со стороны Пентагона. Во вторник Axios сообщил, что Хегсет сказал генеральному директору Anthropic Дарио Амодеи, что у компании есть время до пятницы, чтобы предоставить военным беспрепятственный доступ к своей модели ИИ, иначе ей грозят штрафы. Сообщается, что компания предложила адаптировать свои политики использования для Пентагона. Однако она не разрешила бы использовать свою модель для массовой слежки за американцами или для оружия, которое стреляет без участия человека.

Если Anthropic не уступит, эксперты говорят, что лучшим выходом для нее будет судебный иск. Но будет ли предложенных Пентагоном наказаний достаточно, чтобы заставить ориентированный на прибыль стартап подчиниться? Угрозы Хегсета, как сообщается, включают применение Закона о производственной обороне, который дает президенту право поручать частным компаниям отдавать приоритет определенным контрактам в целях национальной обороны. Военные также могут расторгнуть контракт с Anthropic и признать ее риском для цепочки поставок. Это заставит другие компании, работающие с Пентагоном, сертифицировать, что Claude не включен в их рабочие процессы.

Claude — единственная модель ИИ, используемая в настоящее время для наиболее чувствительных военных разработок. «Единственная причина, по которой мы продолжаем разговаривать с этими людьми, заключается в том, что они нам нужны, и они нужны нам сейчас», — сказал Axios представитель обороны. «Проблема этих ребят в том, что они настолько хороши». Сообщается, что Claude использовался в рейде на Мадуро в Венесуэле, тему, которую Амодеи, как говорят, поднял со своим партнером Palantir.

В статье Time о новой RSP были приведены реакции директора некоммерческой организации, занимающейся рисками ИИ. Крис Пейнтер, директор METR, назвал эти изменения как понятными, так и, возможно, дурным предзнаменованием. «Мне нравится акцент на прозрачном сообщении о рисках и публично проверяемых дорожных картах безопасности», — сказал он. Однако он также выразил опасения, что более гибкая RSP может привести к эффекту «кипящей лягушки». Другими словами, когда безопасность становится «серой зоной», бесконечная серия оправданий может привести компанию на очень темный путь, который она когда-то осуждала.

Пейнтер сказал, что новая RSP показывает, что Anthropic «считает, что ей нужно перейти в режим сортировки с ее планами безопасности, потому что методы оценки и смягчения рисков не успевают за развитием возможностей. Это еще одно свидетельство того, что общество не готово к потенциальным катастрофическим рискам, связанным с ИИ».