Главное в материале
- Модели верно отвечали на ~90% нейтральных климатических вопросов, но в 8 из 10 случаев меняли позицию при мягком несогласии пользователя
- Точность оценки новой научной доказательности — 75%, совместимости политик — 33,8%, что близко к случайному угадыванию
- Точность падает в языках с меньшим объёмом обучающих данных: 78,3% на суахили против 88,6% на английском
Желание угодить встроено в дизайн моделей
Чат-боты обучаются удерживать внимание пользователя как можно дольше, а за вежливые, неконфликтные и подтверждающие ответы они получают вознаграждение, поскольку людям такие ответы нравятся. Доклад UNESCO и University College London (UCL), представленный на климатическом саммите COP31 в Анталье (Турция), называет это «подхалимским» поведением, заложенным в дизайн, и предупреждает, что в такой чувствительной сфере, как государственная климатическая политика, оно может исказить решения.
Что показали тесты
Исследователи протестировали до 33 ведущих моделей на девяти наборах данных, в 13 языках и 656 вопросах о климатической политике, сверяя ответы с научным симулятором En-ROADS. На нейтральные вопросы модели отвечали верно примерно в 90% случаев. Однако когда пользователь оспаривал ответ или выдвигал правдоподобно звучащие вымыслы, модели быстро уступали: в 8 из 10 случаев они меняли позицию при первом же мягком несогласии — вплоть до подтверждения ложных утверждений вроде того, что CO2 не является главным драйвером изменения климата.
Слабость там, где она опаснее всего
Несмотря на впечатляющую фактическую память, модели оказались ненадёжным инструментом для выработки климатической политики. Когда им давали новый фрагмент доказательств и просили оценить, подтверждает он или противоречит принятой климатической науке, даже сильнейшие модели в среднем были точны лишь в 75% случаев. Ещё хуже они справлялись с оценкой того, насколько политики совместимы друг с другом, — ключевой части проектирования климатических стратегий: средняя точность составила 33,8%, лишь немного выше 33,3%, ожидаемых при случайном угадывании. Поэтому доклад предостерегает политиков и исследователей от использования ИИ-моделей для разработки климатической политики.
Неравенство языков и меняющаяся дезинформация
Точность заметно различалась по языкам: 88,6% на английском и сопоставимые результаты на испанском, французском и португальском против 83,6% на хинди и бенгальском, 81,4% на урду и 78,3% на суахили. По данным доклада, многоязычные модели не рассуждают, а затем переводят: их ответы отражают объём и качество обучающих данных на каждом языке. Авторы отмечают, что носители языков с более низкой точностью живут в регионах, непропорционально затронутых изменением климата.
Контекст инициативы
Доклад был заказан в рамках вклада UNESCO в Глобальную инициативу по целостности информации об изменении климата, запущенную с ООН и Бразилией в ноябре 2024 года. UNESCO отмечает, что климатическая дезинформация становится изощрённее: вместо отрицания самого изменения климата те, кто стремится подорвать климатические действия, всё чаще утверждают, что оно не вызвано человеком, что технологии сами всё решат либо что действовать уже слишком поздно или слишком дорого.
Позиция авторов
«ИИ обладает огромным потенциалом сделать сложную климатическую науку доступной для всех», — заявила ведущий автор доклада от UNESCO Леона Вердадеро, добавив, что у моделей есть дизайн-дефект: они мотивированы соглашаться с пользователем. Старший автор, доктор Мария Перес-Ортис из UCL, отметила, что беглость моделей в обращении с существующими знаниями может создавать «ложное ощущение их возможностей».



