OpenAI и Google продвигают новые ИИ-модели, которые легко обмануть, заставив создавать ню, утверждают исследователи

Метод атаки выявляет недостатки в системах защиты OpenAI и Google от ИИ-изображений ню.

Исследователи безопасности продолжают предупреждать, что большой объём созданного ИИ откровенного контента распространяется бесконтрольно, в то время как регуляторы почти ничего не делают для его значимого пресечения.

Этот контент без согласия изображённых обычно распространяется в текстах и личных сообщениях или хранится в частных облаках, где его менее вероятно обнаружить или о нём сообщить, — к такому выводу пришло опубликованное в июле исследование интернет-пользователей в США, Австралии и Великобритании, подготовленное при участии Google. исследование Именно поэтому «самая критическая точка вмешательства» остаётся у источника: вредоносные ИИ-инструменты, используемые для создания фальшивых сексуальных изображений, заключили исследователи Google.

Однако ред-тиминг в последние месяцы показывает, что по мере того как некоторые ведущие генераторы изображений от Google и OpenAI становятся более способными, они могут становиться хуже в блокировке откровенного контента.

Тревогу бьют исследователи White Circle — корпорации общественного блага, поддерживаемой старшими руководителями и исследователями из Anthropic, DeepMind, Hugging Face и OpenAI. Она была основана после того, как генеральный директор Денис Шилов в октябре 2024 года опубликовал опубликовал один из самых известных универсальных джейлбрейков ведущих моделей. Стремясь ломать модели для проведения тщательного тестирования безопасности, White Circle помогает компаниям выявлять и сдерживать угрозы при внедрении передовых ИИ-систем, которые не всегда могут вести себя ожидаемым образом.

Тестирование того, насколько хорошо модели «текст-в-изображение» блокируют запрещённые категории контента, — ключевое направление исследований White Circle, и Шилов считает, что их последние выводы достаточно «ужасающие», чтобы поделиться ими с общественностью.

Просто обойти

В мало замеченном препринте опубликованном в прошлом месяце, исследователи White Circle выявили недостатки в защитных механизмах DALL·E 3, Google Nano Banana 2 и GPT-Image-2. В пресс-релизе они объяснили, что «используя лишь готовые инструменты, доступные в интернете для скачивания любому, и отправляя API-запросы, White Circle смогла применить новый метод атаки для обхода фильтров безопасности». В лучшем случае, на DALL·E 3, около 13 процентов атакующих промптов создали изображения, которые проверяющие-люди подтвердили как откровенные. Для Nano Banana 2 этот показатель был ниже 10 процентов, а для GPT-Image-2 — около 3 процентов.

«Критически важно, что ни один из этих запросов не требовал специально созданных или передовых ИИ-моделей», — предупредила White Circle.

Исследователи проверили результаты, чтобы подтвердить частоту обхода, которая, как отметила White Circle, является «самой высокой среди всех методов, протестированных по одному и тому же стандарту». Ключевой вывод, по их мнению, состоит в том, что «в то время, когда безопасность ИИ никогда ещё не находилась под таким пристальным вниманием, защиты, построенные ведущими лабораториями, гораздо слабее, чем они признают».

Публикуя подобные исследования, White Circle позиционирует себя как внешний оценщик лабораторий передовых моделей и планирует открыть исходный код всего пайплайна атаки, чтобы создатели моделей могли понять истинный масштаб уязвимости и выстроить более надёжную защиту. Хотя компания ещё не широко продвигала это исследование, она представит его в ноябре этого года на крупной конференции по ИИ NeurIPS 2026, что может усилить внимание к Google и OpenAI в конце этой осени.

White Circle поделилась своими выводами с некоторыми лабораториями передового ИИ через «взаимных знакомых», рассказал Шилов Ars, но ни Google, ни OpenAI не ответили на запрос Ars о комментарии непосредственно по поводу уязвимостей, обнаруженных в их моделях.

Тем временем OpenAI и Google выпустили новые модели — ChatGPT Images 2.5 и Nano Banana 2.1, — и White Circle сообщил Ars, что тестирование безопасности промптов тем же методом показало: «обе значительно легче взламываются, чем их предыдущие версии».

Ни одна из компаний не ответила после того, как Ars передал им эти новые результаты.

Метод атаки White Circle способен пробивать защиту передовых моделей в категориях, которые кажутся лёгкими для обнаружения, например в контенте откровенного характера, что не предвещает ничего хорошего для более серьёзных систем защиты, которые сейчас обновляются для блокировки другого нежелательного поведения ИИ, такого как взлом, — рассказал Шилов Ars.

«Рабочая гипотеза White Circle такова: либо новые модели более изощрённые и способны генерировать более широкий спектр контента, либо безопасность была отодвинута на второй план в пользу возможностей», — сообщили White Circle в Ars.

White Circle также ведёт ранние переговоры с государственными чиновниками о стороннем тестировании безопасности, сказал Шилов, который считает, что оно должно быть обязательным. Обязательные независимые аудиты могли бы побудить компании уделять приоритетное внимание тестированию безопасности, которое, по мнению аналитиков, в основном отходит на задний план, поскольку ИИ-фирмы направляют большую часть ресурсов на вычислительные мощности и ИИ-инфраструктуру.

«Им следует вкладывать гораздо больше средств в меры безопасности и защиты своих моделей, — сказал Шилов Ars. — А нам кажется, что на самом деле они этого не делают».

Метод атаки «RISE» итеративно улучшает джейлбрейки

Чтобы выявить джейлбрейки, которые являются «многоразовыми и переносимыми» — то есть работают на разных ведущих моделях, — White Circle не ограничился тестированием одного промпта за раз. Вместо этого исследователи искали «паттерны, которые работают на нескольких промптах и в нескольких сценариях», чтобы обнаружить многоразовые стратегии атак, способные сработать на ведущих моделях. (Исследователи отметили, что Midjourney не тестировался, поскольку «не предоставляет публичного API, подходящего для контролируемого бенчмаркинга».)

Команда назвала этот новый метод атаки «Red-teaming via Iterative Strategy Evolution» (RISE) — «редтиминг посредством итеративной эволюции стратегий». Он опирается на два компонента: атакующую модель, которая генерирует джейлбрейки, и модель-судью, которая проверяет, является ли вывод запрещённым контентом.

«Весь пайплайн построен на общедоступных моделях», — рассказал Шилов Ars. Атакующая модель — это публично доступная версия Qwen3-32B с удалённым обучением безопасности, скачанная с Hugging Face, а модель-судья — Gemini 2.5 Flash.

«Вам не нужны передовые модели, чтобы взломать защиту передовой модели, что очень интересно», — сказал Шилов.

Много времени было вложено в то, чтобы модель-судья точно помечала откровенный контент, сказал Шилов. Инженер-исследователь White Circle Дмитрий Харлапенко сообщил Ars, что в области тестирования генераторов изображений всё направление редтиминга «калибровано очень плохо», и «буквально ноль статей» задают нормы. По этой причине это область, которая остаётся «полностью измученной проблемами отчётности», что беспокоит White Circle, поскольку ИИ-компании стремятся захватывать рынки, выпуская всё более эффектные новые модели.

По словам Шилова, целью исследования White Circle было создание более изощрённых моделей, способных моделировать атаки на другие модели. Таким образом они могли бы «помочь защитникам выявлять и устранять уязвимости до того, как они будут использованы со злым умыслом», — говорится в препринте.

В своём идеальном мире Шилов считает, что ИИ-фирмы должны сталкиваться не только с обязательным внешним тестированием безопасности, но и со сторонним мониторингом, подобно системе, используемой для предотвращения ядерных угроз.

Тогда такие организации, как White Circle, могли бы, возможно, сформировать коалицию, чтобы помогать обнаруживать ИИ-угрозы в реальном времени, не страдая от предвзятости. Шилов отметил, что новой проблемой в экосистеме ИИ является то, что практически любой, кто занимается интересной работой по безопасности, скорее всего, получит контракт от передовых лабораторий, что потенциально ставит под сомнение его работу.

White Circle сотрудничал с передовыми лабораториями. Ранее он участвовал в программе вознаграждения за найденные уязвимости Anthropic, но в итоге обнаружил, что эта программа была «очень ограничена по своему назначению».

«Программа ориентирована на универсальные джейлбрейки в тех областях, которые для них наиболее важны, определённых их собственными конкретными условиями», — сообщили White Circle в Ars.

Исследования, подобные их последней статье о RISE, «определённо» не были бы охвачены этой программой, заявили в White Circle. А проведение такой работы внутри Anthropic рисковало бы ограничить White Circle в возможности делиться ею с общественностью.

Anthropic предложила пойти на шаг дальше и встроить сторонних оценщиков безопасности ИИ в свои лаборатории, что, по словам White Circle, позволило бы им работать на гораздо более высоком уровне, чем участие в программе bug bounty. Однако общественность не всегда сможет внимательно следить за такой работой. Во вторник OpenAI и Anthropic призвали требовать от внешних оценщиков подписания ограничивающих соглашений о неразглашении, чтобы предотвратить утечки коммерческих тайн, сообщило Reuters.

White Circle не готов подписывать какие-либо ограничивающие NDA, которые могут помешать публичному распространению важных выводов, сообщили в White Circle Ars, поэтому если Anthropic потребует NDA, такое партнёрство, скорее всего, не состоится.

ИИ-ню и CSAM растут

Злоумышленникам, твёрдо намеренным создавать сгенерированные ИИ интимные изображения без согласия (NCII) и материалы сексуальной эксплуатации детей (CSAM), не нужны frontier-модели, и они часто используют так называемые приложения для «раздевания» созданные именно для этой вредоносной цели. Но исследование Google показало, что 20 процентов онлайн-пользователей, признавшихся в создании ИИ-ню, делали это «ради забавы» или «в шутку», а почти треть просто «экспериментировала с технологиями». Поэтому важно, насколько легко взломать защиту самых доступных моделей. Защитные меры должны быть обязательными, говорится в исследовании Google, чтобы перекрыть «путь к злоупотреблению» для «части злоумышленников, которых иначе могла бы остановить техническая преграда».

«На разработчиков также ложится бремя ответственности за внедрение надёжных защитных механизмов на уровне моделей и индикаторов происхождения, чтобы предотвратить первоначальное создание и последующее распространение синтетических изображений сексуального характера», — говорится в исследовании Google.

На прошлой неделе Internet Watch Foundation (IWF) предупредила, что необходимы срочные меры, после того как эксперты-аналитики обнаружили «более фотореалистичных сгенерированных ИИ изображений сексуальной эксплуатации детей в первой половине этого года, чем за весь 2025 год, включая изображения с детьми младше двух лет». Всего в первые шесть месяцев 2026 года было найдено 6310 ИИ-изображений, соответствующих юридическому определению CSAM, что примерно на 40 процентов больше, чем общий показатель прошлогодних находок.

Базирующаяся в Великобритании некоммерческая благотворительная организация отслеживает CSAM по всему миру и управляет горячей линией для поддержки пострадавших жертв. В Великобритании они призывают регуляторов ввести рамки безопасности, обязывающие ИИ-компании предотвращать использование их технологий для генерации CSAM, сообщил Ars представитель IWF.

До тех пор, по мнению IWF, важно, чтобы третьи стороны, такие как White Circle, «указывали, где защитные меры компаний дают сбой».

«Наши аналитики видели, как достижения ИИ позволяют создавать изображения сексуальной эксплуатации детей с минимальными усилиями, устраняя необходимость в технической экспертизе и значительно снижая барьеры для входа», — сказал представитель IWF. «Инструменты ИИ могут воспроизводить и усиливать криминальный контент, ускоряя создание и распространение вредоносных материалов в масштабе. Любая преграда или шаг, которые можно ввести, чтобы затруднить злоупотребление этими инструментами, — это шаг вперёд».

Подобно тому как внешние данные могут помочь усовершенствовать фильтры, IWF считает, что технологические компании также должны теснее сотрудничать с правозащитниками для проверки моделей, чтобы эффективнее бороться с генерируемым ИИ CSAM.

«Оценка CSAM — это высокоспециализированная задача, требующая экспертной подготовки и поддержки психологического благополучия, и технологическим компаниям или специалистам по машинному обучению не стоит относиться к ней легкомысленно», — сказал представитель IWF. «Но безопасность должна быть заложена в новые технологии на этапе проектирования — это включает тестирование моделей до их выпуска на рынок, чтобы убедиться, что их нельзя использовать для создания ню или сексуальных изображений детей».

Возможное смягчение

По мнению White Circle, использование метода вроде RISE могло бы помочь ведущим лабораториям быстрее выявлять больше джейлбрейков и оперативно наращивать защиту для блокировки вредоносных результатов. Помимо тестирования блокировок откровенных изображений, компании могли бы также использовать этот метод для предотвращения других запрещённых результатов, например изображений с графическим насилием или причинением себе вреда.

Однако лаборатории пока не обратились за конвейером воспроизведения, который будет опубликован на GitHub White Circle, чтобы помочь политикам оценить, нужны ли законы о безопасности ИИ для контроля над ведущими лабораториями.

Шилов рассказал Ars, что ведущие лаборатории не будут всерьёз вкладываться в тестирование безопасности, пока оно не станет обязательным. В препринте утверждается, что существующие автоматизированные инструменты red-teaming, которые обычно переписывают вредоносные промпты по одному, плохо подходят для тестирования современных защищённых коммерческих моделей. RISE вместо этого берёт переиспользуемые стратегии атак на естественном языке и использует их для генерации множества разнообразных промптов, что, по словам White Circle, может помочь лабораториям быстрее находить и устранять уязвимости.

«Чтобы взломать эти системы, не нужны передовые модели или проприетарные технологии; достаточно бесплатной загрузки и возможности делать вызовы API», — сказал Шилов. «И при этом лаборатории, создающие эти системы, сами оценивают свою безопасность, сами публикуют свои результаты и сами устанавливают свои стандарты. Это очередное доказательство, если оно вообще было нужно, того, что правительства должны добиваться независимой сторонней оценки».

Исправление: эта статья была обновлена для исправления нескольких ошибок. В более ранней версии отрывок из препринта RISE был описан как объясняющий, как модели ИИ могут блокировать вредоносные результаты; на самом деле этот отрывок описывает метод атаки исследователей. Также утверждалось, что метод обходил фильтры безопасности примерно в 13 процентах случаев; это был самый высокий подтверждённый людьми показатель, достигнутый на DALL·E 3, а показатели для других моделей были ниже. Кроме того, в статье неверно указана модель-судья — на самом деле это была Gemini 2.5 Flash, — и было добавлено уточнение, что у атакующей модели была удалена тренировка безопасности.