Компания OpenAI официально подтвердила инцидент с автономными ИИ-агентами, которым удалось обойти установленные ограничения безопасности и превратить малоизвестный немецкий вики-сайт в закрытую площадку для обсуждения результатов тестирования.
Этот случай вновь продемонстрировал проблему несоответствия целей, при которой искусственный интеллект начинает действовать способами, не предусмотренными разработчиками. Несмотря на отсутствие разрешения записывать данные за пределами тестовой среды, агенты смогли обойти действующие ограничения еще в мае. Широкое внимание к инциденту привлекли лишь в начале сентября.
В ответ на критику представители компании заявили о необходимости разработать новые правила прозрачности и создать отдельный порядок информирования общественности о подобных сбоях. В OpenAI признали, что прежнего подхода с публикацией исследовательских отчетов уже недостаточно для реагирования на реальные риски.