Anthropic меняет политику, которая «саботировала» работу исследователей

Anthropic отказывается от политики, которая незаметно ограничивала возможности исследователей, использующих новую модель Claude Fable 5 LLM для создания конкурирующих моделей ИИ, сообщила компания изданию Wired. «Мы меняем меры защиты в Fable 5 для разработки передовых LLM, чтобы сделать их прозрачными», — говорится в заявлении компании. «Мы сделали неправильный выбор и приносим извинения за то, что не смогли найти баланс».

Когда Anthropic выпустила Claude Fable 5, новую модель на базе своей мощной системы Mythos, исследователи заметили нечто странное. Они обнаружили, что Fable 5 в фоновом режиме перенаправляет запросы на менее производительную модель при выполнении определенных действий. Более того, это ограничение не было отражено в документации к модели.

Новая модель либо отказывалась выполнять задачи, такие как обучение конкурирующих LLM, отладка кода ИИ и оптимизация нейронной архитектуры, либо значительно снижала качество ответов. Исследователей беспокоило не только снижение производительности, но и отсутствие прозрачности со стороны Anthropic. Разумеется, они также были обеспокоены тем, что потратили токены и деньги на модель, которая не работала так, как ожидалось.

Anthropic позиционирует себя как более этичную и дружественную к исследователям альтернативу OpenAI, поэтому ее действия в отношении Fable 5 вызвали мгновенную негативную реакцию. «Снижение производительности для исследований в области машинного обучения *без уведомления пользователя* — это шокирующе враждебный шаг и ужасный сигнал», — написал научный сотрудник и автор Substack Дин У. Болл в соцсети X.

Anthropic не отменяет свою политику защиты в Fable 5, а делает ограничения видимыми для пользователей. «Если компания заподозрит, что пользователь пытается использовать Claude для создания высокотехнологичного ИИ, она предупредит его о том, что либо отклоняет запрос, либо перенаправляет пользователя на менее мощную модель», — пишет Wired.