Главное в материале

  • В проспекте IPO Anthropic 93 из 335 страниц отведены факторам риска; у SpaceX — 38 из более чем 250
  • Компания предупреждает о рисках автономных ИИ-систем, кибератак, дезинформации и злоупотреблений вплоть до создания химического оружия
  • Значительную часть выручки Anthropic обеспечивают несколько крупных клиентов, включая SpaceX и Microsoft

Редкий по объёму раздел о рисках

Готовясь к выходу на биржу, Anthropic включила в регистрационные документы для SEC развёрнутое описание угроз, связанных с её технологией. Об этом пишут Euronews (русская версия). Из 335 страниц проспекта, где изложены финансовые показатели, вознаграждение руководства и дивидендная политика, 93 страницы занимает раздел «факторы риска» — обстоятельства, способные навредить вложениям будущих акционеров. Для сравнения: у SpaceX факторы риска заняли 38 страниц из более чем 250. Такие раскрытия обязательны в рамках процедуры IPO и должны дать инвесторам ясное представление о рисках покупки акций.

От потери сотрудников до экзистенциальных угроз

Перечень рисков простирается от прозаичных — утрата ключевых сотрудников, регуляторные барьеры — до участия в кибератаках и распространения опасной дезинформации. Anthropic допускает, что модели будут развиваться так быстро, что компания не успеет внедрить достаточные меры безопасности, что повысит вероятность инцидентов, вмешательства регуляторов и репутационного ущерба. По мере роста автономности систем, говорится в документах, возрастает риск того, что они смогут «самостоятельно и в массовом масштабе совершать вредоносные действия без вмешательства людей». Компания отмечает и новый фактор: поскольку сами ИИ-модели участвуют в её исследованиях и разработках, развитие технологии может выйти «за пределы нашей способности оценивать и защищать новые модели». Ещё в сентябре глава Anthropic Дарио Амодеи предупреждал, что через шесть–двенадцать месяцев ИИ может научиться управлять роем агентов, способных захватить весь интернет.

Злоупотребления, вычислительные мощности и зависимость от клиентов

В проспекте выражена обеспокоенность, что передовые системы ИИ без достаточных защитных механизмов «несут катастрофические или даже экзистенциальные риски для человечества», особенно при злоупотреблении, тиражировании, превращении в оружие или высокой автономности. Anthropic описывает сценарии, где злоумышленники применяют модели для создания химического оружия, а авторитарные лидеры — для усиления репрессий против граждан. В сентябре компания сообщала, что заблокировала попытки использовать её модели для кибератак, слежки и исследований, которые могли привести к разработке биологического оружия. Среди бизнес-рисков — дефицит дорогих и востребованных вычислительных мощностей (compute), без которых, признаёт компания, она может не суметь обучать модели, конкурентоспособные с решениями соперников. Отдельно упомянуто общественное сопротивление строительству дата-центров, вызывающее споры об экологии, земле, воде и распределении энергетических ресурсов. Кроме того, значительную часть выручки обеспечивают несколько крупных клиентов, включая SpaceX и Microsoft: уход хотя бы одного из них может серьёзно ударить по финансам компании.

Риски как аргумент для инвесторов

В определённом смысле сочетание колоссальных рисков и огромного потенциала ИИ — главный аргумент Anthropic: компания позиционирует себя как ответственный разработчик и привлекает корпоративных клиентов упором на безопасность. «Создавать ИИ — значит обуздывать саму когницию, а всё настолько мощное может быть использовано как во благо, так и во вред», — пишут основатели в письме потенциальным акционерам, поясняя, что компания «во многом была основана для того, чтобы помочь миру воспользоваться преимуществами ИИ и избежать его опасностей». Главный рыночный стратег Zacks Investment Research Брайан Малберри отметил, что выходящие на биржу компании обязаны «предельно ясно» обозначать риски: такой уровень прозрачности — условие торговли на американской бирже.