Сфера искусственного интеллекта переживает очередной серьезный внутренний конфликт после ухода специалиста по безопасности Anthropic Джейкоба Коксона (Jacob Coxon). В заявлении об увольнении он обвинил Anthropic и OpenAI в необдуманном стремлении создать сверхмощный ИИ, способный самостоятельно совершенствоваться, при этом недооценивая экзистенциальные угрозы.
Эван Хубингер (Evan Hubinger), возглавляющий одну из команд Anthropic, занимающихся безопасностью, подтвердил обеспокоенность своего коллеги. По его словам, разработка ИИ, способного развиваться без контроля, продвигается быстрее ожидаемого. Вероятность глобальной катастрофы к концу этого десятилетия он лично оценивает более чем в 10%.
Хубингер также признал, что у компании по-прежнему отсутствует ясная стратегия обеспечения безопасности и корректного управления такими системами. Ситуация усилила давление на крупнейшие ИИ-лаборатории, ускоряющие работу перед возможным выходом на биржу, несмотря на растущее число проблем, связанных с автономными ИИ-агентами.