NVIDIA представила платформу Open Agent Safety, предназначенную для контроля ИИ-агентов. Решение объединяет программную изоляцию с аппаратным мониторингом, позволяя повысить безопасность автономных систем и одновременно развивать инфраструктуру компании.
Ключевым элементом платформы стал открытый runtime OpenShell, который изолирует ИИ-агентов на уровне ядра операционной системы. Он ограничивает доступ к файлам, инструментам и внешним сервисам, скрывает реальные учетные данные и фиксирует решения, связанные с выдачей разрешений. Второй компонент — Sentry — работает на ускорителях BlueField-4 DPU и контролирует действия агента независимо от хост-системы. Если агент пытается обойти заданные ограничения, устройство может изолировать его за считанные миллисекунды.
Для работы Sentry требуется доступ к цепочке рассуждений модели. Реализовать такой подход, вероятно, проще с открытыми моделями, поскольку Anthropic и OpenAI ограничивают доступ к подобной информации. Параллельно NVIDIA продвигает open-weight-модели, которые компании могут запускать на собственных мощностях, сохраняя контроль над вычислениями и данными.
Новая система тесно связана с аппаратной экосистемой NVIDIA: для функционирования Sentry необходимы BlueField-4. Глава компании Дженсен Хуанг также заявил, что дистилляция моделей является формой конкуренции, а не кражей, поскольку соперничество ускоряет развитие технологий. Таким образом, NVIDIA предлагает новый механизм защиты ИИ-агентов и одновременно расширяет применение собственной инфраструктуры.