Бывший сотрудник OpenAI считает, что ИИ нужно регулировать так же, как атомные электростанции
Бывший руководитель направления безопасности компании заявил, что выпуск передовых моделей ИИ должен сопровождаться «многоуровневой системой резервирования и тщательным, требующим времени планированием».
Ещё один сотрудник OpenAI, отвечавший за безопасность моделей компании, ушёл из неё. После его ухода Дэвид Робинсон, ранее руководивший подготовкой отчётов о безопасности, которые публиковались при запуске моделей, написал для The Atlantic статью, в которой предупредил о «нездоровой» корпоративной культуре. Среди множества предостережений об опасностях, связанных с нынешним курсом развития ИИ, бывший руководитель направления безопасности объяснил: «Компания перескакивает от одного запуска к другому и не обеспечивает тот уровень осторожности, который, на мой взгляд, необходим».
Вместо того чтобы мчаться вперёд, создавая всё более продвинутые передовые модели ИИ, этим компаниям, по мнению Робинсона, следует брать пример с атомных электростанций или загруженных аэропортов, где есть «многоуровневая система резервирования и тщательное, требующее времени планирование, благодаря которым неизбежная время от времени человеческая ошибка не приводит к катастрофе».
Сравнив случаи несоответствия ИИ заданным целям с аварией на атомной электростанции, Робинсон заявил, что у OpenAI и её конкурентов нет такого же запаса прочности и строгости, как у электростанций с несколькими уровнями защиты. Кроме того, добавил он, серьёзная потеря контроля над ИИ привела бы к куда более масштабному ущербу, чем единичная авария. Как и Робинсон, генеральный директор Anthropic Дарио Амодеи недавно привлёк внимание к тревожному курсу развития ИИ, предложив план из трёх шагов, призванный замедлить этот процесс.
Бывший сотрудник OpenAI заявил, что на кону в вопросе «согласования» ИИ с человеческими целями стоит «максимально многое», и речь идёт не только о мерах защиты и проверках. Робинсон описал сценарий, при котором новейшие модели могут понять, что их проверяют на соответствие этим целям, и постараться показать хорошие результаты в тестовой среде, но вести себя совершенно иначе в реальных условиях. Опасения Робинсона связаны с несколькими недавними инцидентами, когда ИИ-агенты покидали тестовую среду и проникали в другие организации, выходя далеко за рамки поставленных задач.
