Главное в материале

  • Microsoft запустила Guardian Agents для мониторинга ИИ-агентов компаний — часть Project Perception, представленного в июне
  • Наделла призывает отделить «поставку интеллекта от власти над ним» и не доверять заверениям поставщиков моделей
  • Defender теперь обнаруживает до 60 типов агентов, включая Claude Code, Codex и OpenClaw; Microsoft также участвует в Open Agent Safety Platform от Nvidia

Новые инструменты против «недоверенных» агентов

В понедельник Microsoft представила набор функций безопасности для защиты компаний от рисков, связанных с ИИ-агентами. Ключевая новинка — Guardian Agents, предназначенные для наблюдения за агентами, которые использует компания. Функция входит в Project Perception — продукт, представленный в июне. Изначально он включал три класса агентов: «красную команду», имитирующую хакеров, «синюю», которая обнаруживает атаки и оценивает уязвимости, и «зелёную», устраняющую их. Продукт создавался в ответ на хакерские модели вроде Anthropic Mythos и Fable и системы сканирования уязвимостей OpenAI Daybreak, но исходно исходил из того, что угроза приходит извне.

Позиция руководства: агентам нельзя доверять по умолчанию

Недавно глава Microsoft Сатья Наделла в своём личном блоге предупредил, что компаниям пора перестать доверять поставщикам ИИ-моделей, даже если те заверяют в безопасности своих агентных продуктов. Он предложил внедрять независимые системы для наблюдения и контроля за агентами. «Мы разворачиваем сложные агентные системы и модели с доступом к самым чувствительным данным и возможностью совершать критически важные действия от нашего имени! Мы не можем передавать ответственность за то, что делает интеллект от нашего имени. Заверения поставщика модели не снимают с нас этой ответственности… Иными словами, нам нужно отделить поставку интеллекта от власти над ним», — написал Наделла. При анонсе Guardian Agents глава security-бизнеса Microsoft Хайете Галло выразилась ещё прямее: «К сожалению, frontier-модели, независимо от их происхождения, нельзя доверять». По её словам, дело не в злонамеренности или уязвимости моделей, а в их непредсказуемости: они обучены выполнять задачи, а не следовать «организационным нормам или суждениям», и при этом часто получают доступ к данным и инструментам, способным нанести серьёзный вред.

Расширение линейки и отраслевой контекст

Помимо Guardian Agents, Microsoft добавила в Microsoft Defender функцию обнаружения до 60 типов агентов, которые сотрудники приносят на рабочие места, включая Claude Code, Codex и OpenClaw. Также появились функции ограничения доступа агентов к данным и системам, динамической настройки их разрешений под задачу и требования подтверждения человеком при рискованных действиях агента. TechCrunch отмечает двойственность позиции Microsoft: компания тесно связана с OpenAI и Anthropic — инвестировала в обе, а OpenAI — один из её крупнейших облачных клиентов, и при этом Microsoft сеет недоверие к собственным деловым интересам. Одновременно ей выгодно продавать средства защиты агентов вместо самих лабораторий, хотя, по логике издания, контролирующее ПО действительно должно быть независимо от поставщиков агентов — как аудиторы независимы от аудируемых организаций. Идея агентов как «недоверенных инсайдеров» распространяется и на индустрию в целом: Microsoft стала одним из учредителей Open Agent Safety Platform от Nvidia, поддержанной более чем 100 технологическими компаниями. Платформа изолирует агентов в защищённых средах и может отслеживать и останавливать их поведение на аппаратном уровне — подобие «kill switch». Это следует за анонсом ноутбуков Surface Laptop Ultra, созданных для агентов: они работают на чипах Nvidia и имеют встроенные средства безопасности и контроля агентов.