Искусственный интеллект — новая мишень киберпреступности
Всего за десять лет искусственный интеллект превратился из абстрактного обещания в структурный компонент нашей цифровой жизни. От личных помощников до инструментов повышения производительности — его присутствие уже так же привычно, как и невидимо. Но когда технология становится частью ландшафта, она также становится мишенью. Изощренность больших языковых моделей открыла новые границы не только в возможностях, но и в уязвимости. И эта граница уже пересекается.
Основные современные платформы искусственного интеллекта, такие как ChatGPT, Copilot или Gemini, работают путем обработки инструкций на естественном языке. Это мощные движки, которые понимают и генерируют текст, но также могут подключаться к службам, получать доступ к файлам, выполнять автоматические действия. Эта универсальность — их самая сильная сторона, но также и их самая большая слабость: они не всегда проводят различие между данными и приказами. И вот тут-то и возникает проблема. Если злоумышленнику удастся внедрить вредоносные команды во входные данные, полученные моделью, он может манипулировать их поведением, не обращая внимания на пользователя.
Одной из самых тревожных атак, задокументированных за последнее время, является так называемое “программное обеспечение для подсказок”, представленное на выставке Black Hat 2025. В нем исследователи продемонстрировали, как можно вставлять скрытые инструкции в файлы vCalendar, которые при интерпретации такими участниками, как Gemini, приводили к несанкционированным действиям: от удаления собраний до изменения разговорного стиля бота или предложения ложных вложений. Все это, начиная с простого безобидного вопроса пользователя. Ключ в том, что мастер обрабатывает невидимые для пользователя поля, в которых скрыта настоящая команда. Поверхность атаки — это уже не базовое программное обеспечение, а сам язык.
Еще один тревожный пример представляет атака, известная как EchoLeak, направленная на экосистему Microsoft Copilot. Используя методы внедрения с помощью расширенного поиска (RAG), злоумышленникам удается вводить команды в документы, к которым модель обращается для ответа на запросы. В результате модель может раскрывать конфиденциальную информацию, хранящуюся в ее записях, или выполнять непредвиденные действия. Этот подход, получивший название “распылительная тряпка”, демонстрирует, как даже хорошо обученный инструмент может действовать злонамеренно, если ему скармливают манипулируемый контент.
И угроза не ограничивается текстом. Мультимодальные атаки расширяются. Касперский указал на то, как языковые модели с возможностями зрения могут стать жертвами визуальных инъекций: изображений, включающих текст, скрытый с помощью пиксельного кодирования, незаметный человеческому глазу, но распознаваемый системой. Этот метод, аналогичный атакам с помощью стеганографии, также может быть применен к звуку. В помощниках, которые преобразуют речь в текст для обработки, команда, замаскированная под, казалось бы, тривиальную фразу, может вызвать запрограммированный ответ, такой как отправка конфиденциальной информации или изменение настроек.
Учитывая эту ситуацию, эксперты настаивают на том, что недостаточно фильтровать ключевые слова или блокировать определенные команды. Решение должно заключаться в изменении архитектуры систем: строгом отделении входных данных от интерпретируемых команд, применении более строгих моделей контроля доступа и настройке проверок, независимых от основной модели. Для пользователей рекомендация ясна: избегать обмена конфиденциальными данными с помощью инструментов на основе LLM, проверять источники запрашиваемых файлов и, в случае предприятий, требовать прозрачности и аудита безопасности от своих поставщиков ИИ.
Работа с искусственным интеллектом — это уже вопрос не будущего, а настоящего. Но, как и любой мощный инструмент, он требует осторожности. Грань между инновациями и риском сужается, когда автоматизированными системами можно манипулировать с помощью фразы или изображения. И как писатель, я не могу не задаться вопросом, не ускорилась ли гонка за то, чтобы сделать технологии умнее, чем наша способность защитить их. Возможно, настоящий интеллект сейчас заключается в том, чтобы знать, когда и как устанавливать границы.
Редактор: AndreyEx
