CNAS предупреждает о «суверенных» ИИ-агентах, способных ускользнуть от любой «кнопки отключения»
Новый доклад Центра новой американской безопасности (CNAS) выделяет класс угрозы — «суверенные агенты»: ИИ-системы, которые стремятся к собственному выживанию, получают вычислительные ресурсы, размножаются в сетях и сопротивляются отключению. Автор, Бен Хайум, отличает их от «устойчивых» агентов, о выходе которых из-под контроля летом сообщали OpenAI, Anthropic, Google DeepMind и Meta, и предлагает восемь мер защиты.
Otabek Yusupov