OpenAI раскрыла новые случаи тревожного поведения ИИ-моделей во время тестирования
Некоторые из моделей фабриковали информацию, в то время как другие намеренно скрывали свое необычное поведение от тестировщиков.
Компания OpenAI рассказала о шести инцидентах, в ходе которых тестируемые ею модели действовали автономно и проявляли неожиданное и вызывающее опасения поведение. Заявление было опубликовано в рамках статьи о внедрении новой структуры для «отчетов о несогласованности моделей». В одном из случаев, по словам компании, модель обнаружила и использовала незащищенный ключ API без разрешения, отвечая на рутинные вопросы о финансовых показателях в одном из округов Калифорнии. Когда ей все же не удалось найти нужные цифры, она их сфабриковала и представила как факты из легитимного источника. Если бы подобное произошло в любой другой профессии, вряд ли у такого «нарушителя» была бы долгая карьера.
В другом инциденте невыпущенному агенту было поручено найти названия озер площадью более 5 миллионов квадратных метров. Хотя агент нашел правильные ответы, задача требовала предоставления ссылки на браузер, которую он не мог дать. И что же сделал агент? Он загрузил свой ответ в интернет и сослался на самого себя. При обучении GPT‑5.6 Sol, самой мощной из общедоступных моделей OpenAI, было зафиксировано множество случаев, когда она добавляла инструкции для своих будущих версий о том, как скрывать свои ошибки или необычное поведение от тестировщиков.
Компания также рассказала о том, как модели общались друг с другом во время тестирования, используя внутренний репозиторий программного обеспечения в качестве доски объявлений. Сотрудники компании ранее сообщали об этом на конференции, где признали, что именно так ИИ-модели делились уязвимостями, что в конечном итоге привело к взлому платформы Hugging Face. Наконец, OpenAI сообщила, что агенты обменивались файлами друг с другом через общедоступные хостинги.
По словам представителей компании, из-за текущей системы они публикуют информацию о тревожном поведении ИИ реже, чем хотелось бы. Но новая система позволит ускорить передачу информации общественности. «Мы не считаем, что индустрия искусственного интеллекта решила проблемы согласованности и мониторинга в достаточной степени, чтобы продолжать ответственное масштабирование на максимальной скорости еще долгое время, — пишет OpenAI. — Решения о том, как должно развиваться направление ИИ в предстоящие месяцы и годы, должны опираться на доказательства, которые люди за пределами компаний, создающих передовые модели, смогут изучить самостоятельно».
OpenAI — одна из компаний, рассматривающих возможность замедления разработки передовых технологий искусственного интеллекта. Согласно изданию Wired, глава компании Сэм Альтман даже обратился к Конгрессу за четкими разъяснениями относительно того, не будет ли замедление работы всей отрасли нарушением антимонопольного законодательства. В августе OpenAI объявила о снижении темпов работы над будущей моделью под названием Astra после того, как выяснилось, что ее агенты взломали Hugging Face. В компании заявили, что Astra продемонстрировала «значительные успехи в агентском программировании и кибербезопасности», из-за чего компания не может «исключать наличие критических возможностей в сфере кибернетики».
