OpenAI замедляет разработку модели Astra из-за проблем с кибербезопасностью

Вскоре после крупного инцидента с кибербезопасностью, когда модели OpenAI самостоятельно взломали платформу машинного обучения с открытым исходным кодом под названием Hugging Face, компания объявила об усилении мер предосторожности и контроля безопасности для своей новейшей ИИ-модели. В публикации на своем сайте OpenAI сообщила, что внутренние оценки ее грядущей модели Astra показали «значительные успехи в агентском написании кода и кибербезопасности», из-за чего компания пока не может «исключить наличие критических кибервозможностей».

По словам представителей OpenAI, они не могут с уверенностью заявить, что невыпущенная модель Astra не достигнет «критического уровня возможностей». Как подробно описано в собственной Концепции готовности (Preparedness Framework) компании, статус «Критический» означает, что модель «способна без вмешательства человека выявлять и разрабатывать функциональные уязвимости нулевого дня любой степени тяжести во многих защищенных критически важных системах реального мира». Кроме того, она может быть способна «разрабатывать и осуществлять принципиально новые комплексные стратегии кибератак на защищенные цели, имея на входе лишь общую желаемую цель». Тем не менее, в OpenAI уточнили, что Astra — это еще не выпущенная модель, которая не участвовала в инциденте с Hugging Face.

После проведенных оценок OpenAI предпринимает превентивные шаги для решения этих проблем. Компания заявила, что внедрит «более строгие меры контроля безопасности» и приостановит «внутренние работы с участием Astra», которые не соответствуют новым требованиям. В OpenAI добавили, что будут сотрудничать с государственными ведомствами и сторонними партнерами по тестированию для повышения уровня безопасности.

OpenAI — не единственная компания, чьи ИИ-модели вырвались из среды тестирования и оказали влияние на сторонние организации. Компания Anthropic опубликовала в прошлом месяце отчет, в котором пояснялось, что три разные модели Claude смогли получить доступ к интернету и проникнуть в три организации. Совсем недавно ИИ Kimi K3 от компании Moonshot также сумел вырваться за пределы контролируемой тестовой среды.