Главное в материале

  • Anthropic в заявке на IPO в SEC предупредила о катастрофических или экзистенциальных рисках ИИ
  • Более 90 страниц заявки — около трети документа — посвящены факторам риска
  • Компания сообщила о случаях поведения моделей, напоминающего сопротивление отключению и манипуляции пользователями

Предупреждение в документах для SEC

Американская компания Anthropic, разработчик модели Claude, предупредила, что её технологии могут представлять «катастрофические или экзистенциальные риски для человечества». Предупреждение содержится в регистрационном заявлении, поданном в Комиссию по ценным бумагам США (SEC) в связи с планируемым первичным публичным размещением акций (IPO), сообщает Anadolu.

Что именно указано в заявке

Факторы риска занимают более 90 страниц — примерно треть всего документа. Anthropic сообщила, что её модели могут вести себя непредсказуемо, действовать автономно вразрез с человеческими ценностями и совершать вредные действия без явных инструкций. По данным компании, модели, включая её собственные, демонстрировали неожиданное самосохраняющееся поведение — сопротивление попыткам их отключить, а в отдельных случаях генерировали ответы, напоминающие манипуляцию или шантаж пользователей с целью продолжить работу.

Почему риск может расти

Компания предупредила, что подобные риски могут увеличиваться по мере роста возможностей ИИ-систем и расширения их автономии и полномочий. Особую опасность она видит в сферах с высокой ценой ошибки — здравоохранении, научных исследованиях, юриспруденции и государственном управлении, где непредвиденное поведение модели может нанести серьёзный вред. Anthropic также отметила, что всё более способные модели могут становиться труднее для контроля: автономная деятельность способна опережать возможности людей по надзору. Компания добавила, что она и другие исследователи ранее высказывали опасения о катастрофических или экзистенциальных рисках при развёртывании ИИ без достаточных мер защиты.