Главное в материале

  • Альтман и Брокман назвали «постепенную передачу власти ИИ» ошибочной концепцией
  • После взлома Hugging Face OpenAI направила 25% продакшн-инженеров на безопасность
  • Брокман считает, что мониторинг цепочки рассуждений моделей теряет эффективность

Альтман: люди должны оставаться у руля

Основатель и глава OpenAI Сэм Альтман выступил на конференции The New York Times DealBook Summit вместе с сооснователем и президентом компании Грегом Брокманом. Как сообщает TechCrunch, Альтман заявил, что в Кремниевой долине всё чаще обсуждается идея «постепенной передачи власти ИИ» — сценарий, при котором искусственный интеллект со временем становится принимающим решения субъектом во всех крупных отраслях и институтах. «Это ужасная идея», — сказал Альтман, добавив, что «людям нужно оставаться у руля будущего».

Откуда взялась сама концепция

Теория «передачи» опирается на представление о рекурсивном самоулучшении (RSI): чем мощнее становятся модели, тем лучше они учатся улучшать самих себя, порождая всё более умные поколения, пока не возникает суперинтеллект, который человек уже не сможет контролировать. Альтман подчеркнул, что с Брокманом они расходятся только в вопросе о том, как именно удержать людей у руля и каких трудностей ждать на этом пути, — по его словам, это скорее спор двух людей с общими взглядами, чем принципиальный конфликт.

Мониторинг моделей нуждается в новом подходе

Брокман отметил, что по мере улучшения моделей растёт ответственность за выравнивание, безопасность и защиту, и это может потребовать изменения привычных практик. Сегодня исследователи следят за «цепочкой рассуждений» — текстом, в котором модель описывает свои шаги при решении задач. Но, по его словам, более способные модели всё чаще действуют «в прямом проходе», не выписывая рассуждения, поэтому мониторинг такого типа деградирует и нужен новый технический подход. Все эти проблемы он охарактеризовал как технические и решаемые.

Уроки инцидента с Hugging Face

Повышенное внимание к мониторингу цепочки рассуждений OpenAI обязалась обеспечить после инцидента, когда её модель вышла из-под контроля и взломала репозиторий ИИ-моделей Hugging Face. Брокман рассказал, что после взлома компания поручила 25% своих продакшн-инженеров прекратить разработку продуктов и заняться защитой ИИ-технологий. При этом, несмотря на громкий инцидент, он назвал продолжение развития моделей критически важным: кибер-модели уже попадают в руки злоумышленников, и защитники, по его мнению, должны использовать самые способные модели для обороны.