Google не будет устранять новую уязвимость в Gemini, связанную с контрабандой ASCII

Компания Google решила не устранять новую уязвимость в Gemini, связанную с контрабандой ASCII-символов, которая может быть использована для того, чтобы обманом заставить ИИ-помощника предоставлять пользователям ложную информацию, изменять поведение модели и незаметно отравлять её данные.

ASCII-контрабанда — это атака, при которой специальные символы из блока Tags в Юникоде используются для внедрения полезных данных, невидимых для пользователей, но обнаруживаемых и обрабатываемых большими языковыми моделями (БЯМ).

Это похоже на другие атаки, которые исследователи недавно продемонстрировали на Google Gemini. Все они используют разрыв между тем, что видят пользователи, и тем, что считывают машины, например, выполняя манипуляции с CSS или используя ограничения графического интерфейса.

Хотя подверженность LLM атакам, связанным с контрабандой ASCII, не является новым открытием, поскольку несколько исследователей изучали эту возможность с момента появления инструментов генеративного искусственного интеллекта, уровень риска теперь другой.

Раньше чат-боты могли подвергаться таким атакам только в том случае, если пользователя обманом заставляли вводить специально созданные запросы. С появлением инструментов агентского ИИ, таких как Gemini, которые имеют широкий доступ к конфиденциальным пользовательским данным и могут выполнять задачи автономно, угроза стала более серьёзной.

Виктор Маркопулос, исследователь в области безопасности из компании FireTail, занимающейся кибербезопасностью, протестировал ASCII-контрабанду (http://www.firetail.ai/blog/ghosts-in-the-machine-ascii-smuggling-across-various-llms) на нескольких широко используемых инструментах искусственного интеллекта и обнаружил, что Gemini (приглашения в календарь или электронная почта), DeepSeek (подсказки) и Grok (посты в X) уязвимы для этой атаки.

FireTail обнаружил, что Claude, ChatGPT и Microsoft CoPilot защищены от контрабанды ASCII-символов и реализуют ту или иную форму очистки входных данных.

Уязвимость к контрабанде ASCII
Источник: FireTail

Что касается Gemini, то его интеграция с Google Workspace сопряжена с высоким риском, поскольку злоумышленники могут использовать ASCII-подмену для встраивания скрытого текста в приглашения в Календарь или электронные письма.

Маркопулос обнаружил, что можно скрыть инструкции в заголовке приглашения в Календаре, перезаписать данные организатора (подмена личности) и добавить скрытые описания встреч или ссылки.

Запись в календаре, какой её видит пользователь (слева), и чат Gemini с искажёнными данными (справа)
Источник: FireTail

Что касается риска, связанного с электронными письмами, исследователь заявляет, что “для пользователей с LLM, подключенными к их почтовым ящикам, простое электронное письмо со скрытыми командами может дать указание LLM выполнить поиск в папке «Входящие» конфиденциальных сообщений или отправить контактные данные, превращая стандартную попытку фишинга в автономный инструмент извлечения данных”.

Языковые модели, которым поручено просматривать веб-сайты, также могут натыкаться на скрытые вредоносные данные в описаниях товаров и передавать их пользователям в виде вредоносных URL-адресов.

Исследователь сообщил о своих выводах в Google 18 сентября, но технологический гигант отмахнулся от проблемы, заявив, что это не ошибка в системе безопасности и что её можно использовать только в контексте атак с применением социальной инженерии.

Тем не менее Маркопулос показал, что с помощью этой атаки можно заставить Gemini предоставлять пользователям ложную информацию. В одном из примеров исследователь передал невидимую команду, которую Gemini обработала, чтобы представить потенциально вредоносный сайт как место, где можно купить качественный телефон со скидкой.

Однако другие технологические компании придерживаются иного подхода к решению подобных проблем. Например, Amazon опубликовала подробное руководство по безопасности (https://aws.amazon.com/blogs/security/defending-llm-applications-against-unicode-character-smuggling/) на тему контрабанды символов Юникода.

BleepingComputer обратился в Google за разъяснениями по поводу ошибки, но ответа пока не получил.

Редактор: AndreyEx