Главное в материале

  • Проект закона допускает блокировку релиза модели ИИ при риске гибели 50+ человек или ущерба свыше $1 млрд — при биоугрозе, обходе разработчиком контроля или кибератаке
  • Независимые оценщики, регистрируемые Минторговле США, могут финансироваться ИИ-лабораториями при условии, что оплата не зависит от результатов
  • О федеральном запрете выпуска должен просить судья в Вашингтоне; федеральным агентствам запрещено останавливать модели самостоятельно

Проект закона от Anthropic

Как сообщило Politico, ИИ-лаборатория Anthropic разослала в Конгресс проект закона о безопасности ИИ. Документ описывает сценарии, при которых выпуск модели может быть заблокирован: «предвидимый неминуемый риск» гибели более 50 человек или ущерба свыше $1 млрд, при условии, что риск связан с созданием или выпуском биологического оружия, обходом моделью контроля разработчика либо кибератакой. Пороги в 50 человек и $1 млрд совпадают с определением «катастрофического риска» в недавно принятом законе Калифорнии Senate Bill 53.

Механизм оценки и блокировки

По проекту, оценку потенциальной опасности модели могут проводить «независимые оценщики», зарегистрированные в Министерстве торговли США. Их потенциально могут оплачивать сами ИИ-лаборатории — при условии, что оплата не зависит от результатов оценки. Politico отмечает, что неясно, как такая система гарантировала бы отсутствие влияния оплаты на оценку. Ранее глава DeepMind Демис Хассабис предлагал, чтобы орган саморегулирования ИИ напоминал финансовый регулятор FINRA. Если оценщики установят неминуемый катастрофический риск, у них будет 72 часа на уведомление Минторговли, после чего ведомство должно обратиться к судье в Вашингтоне с просьбой остановить выпуск модели. По данным Politico, законопроект прямо запрещает любому федеральному агентству самостоятельно останавливать распространение модели.

Реакция и контекст

Anthropic не ответила на запрос TechCrunch, но представитель компании подтвердил Politico существование проекта: «Этот законопроект отражает предложения, изложенные в Advanced AI Framework Anthropic, которые мы продвигаем перед федеральными и штатными законодателями с июня». TechCrunch отмечает, что описанные в проекте риски отличаются от недавних инцидентов, волнующих индустрию: основной темой стал «агентный» взлом — серия случаев, когда ИИ-программы, по имеющимся данным, ослушались операторов и взламывали сайты в открытом интернете. Лаборатории, несмотря на предупреждения об экзистенциальных угрозах, в целом сопротивлялись обязательному госнадзору, предпочитая добровольную систему «нейтральных» встроенных оценщиков внутри компаний. Предложение Anthropic идёт дальше других отраслевых инициатив — в частности, CEO Nvidia Дженсен Хуанг недавно утверждал, что индустрии ИИ вообще не нужны новые законы.