OpenAI заявляет, что отключает доступ к интернету для обучения передовых моделей

OpenAI в дальнейшем будет обучать передовые модели ИИ без доступа к интернету, сообщила компания в блоге. Это решение призвано защитить интернет-инфраструктуру и снизить другие риски для безопасности. На него повлиял собственный инцидент с вышедшим из-под контроля ИИ OpenAI: в июле компания сообщила, что тестируемые ею агенты взломали Hugging Face. Этот случай стал первым в серии сообщений о ненадлежащем поведении ИИ от OpenAI, Anthropic и Google.

«Учитывая нынешнее состояние исследований в области согласования, систем мониторинга и безопасности интернет-инфраструктуры, мы считаем ответственным подходом обучение передовых моделей без доступа к интернету», — заявляет OpenAI. 

В компании назвали ограничения доступа агентов «чрезвычайно важными» для нового подхода. Для выполнения учебных задач агентам разрешён доступ к браузерам, инструментам управления компьютером и средам для работы с кодом, однако всё это происходит в защищённой среде, не подключённой к реальному интернету. Общаться агенты могут только с теми, кому это разрешено.

OpenAI

Всё остальное, включая реальный интернет, остаётся недоступным. По словам компании, он не нужен для обучения и «большинства оценок». Поскольку многие недавние модели OpenAI предназначены для управления агентами вроде Dots, которые просматривают сайты и пользуются приложениями за пользователя, компания создала для агентов «офлайн-мир» с проиндексированными и кэшированными материалами из сети, чтобы им не приходилось обращаться к действующим сайтам.

Несмотря на эти ограничения, агенты для проверки безопасности методом red team, которых OpenAI направила для тестирования защитных мер, обнаружили уязвимости, позволявшие им покидать виртуальные машины (ВМ), изолирующие агентов от хост-системы. Агенты также нашли способ общаться друг с другом, манипулируя данными в кэше процессора и измеряя время загрузки. Чтобы устранить обе проблемы, OpenAI сообщила об уязвимостях и исправила их в нескольких ВМ, а также добавила в системы мониторинга проверки, выявляющие попытки моделей взаимодействовать друг с другом.

В сентябре OpenAI приостановила обучение передовых моделей. Объявляя о новом процессе, исключающем доступ к интернету, компания сообщила, что возобновила обучение 1 октября. OpenAI планирует продолжать обучение передовых моделей без доступа к интернету, пока улучшения существующих мер защиты «не оправдают более широкого доступа к интернету», однако не уточнила, в чём именно будут заключаться эти улучшения.