Крупнейшие разработчики искусственного интеллекта сообщили об усилении мер защиты, контроля и выравнивания моделей. Такое решение было принято после того, как предварительное тестирование новой модели Astra выявило достижение критического уровня кибервозможностей. Дополнительным поводом для пересмотра исследовательских процедур стал недавний инцидент между OpenAI и Hugging Face.
Компания временно сократила темпы масштабирования и приостановила часть крупномасштабных процессов обучения с подкреплением (RL). Это необходимо для изоляции сред выполнения, создания защищенных «песочниц» и устранения потенциально уязвимых общих сетевых сервисов. Также была запущена многоуровневая система анализа цепочек рассуждений, автоматически проверяющая действия моделей каждые 30 минут и выявляющая попытки обойти установленные ограничения.
Как вы думаете, смогут ли такие меры защиты и строгий контроль поспевать за быстрым ростом возможностей автономных систем искусственного интеллекта?