Google предупреждает о появлении новых семейств вредоносных программ на базе искусственного интеллекта

Группа по анализу угроз Google (GTIG) в этом году зафиксировала серьёзный сдвиг: злоумышленники используют искусственный интеллект для внедрения новых семейств вредоносных программ, которые во время работы интегрируют большие языковые модели (LLM).

Этот новый подход позволяет вносить динамические изменения в процессе выполнения, что обеспечивает новый уровень операционной гибкости, которого практически невозможно достичь с помощью традиционных вредоносных программ.

Google называет эту технику «самомодификацией по требованию» и приводит в качестве примеров динамической генерации скриптов, обфускации кода и создания функций по запросу экспериментальную вредоносную программу PromptFlux и майнер данных PromptSteal (также известный как LameHug).

PromptFlux — это экспериментальный VBScript-дроппер, который использует последнюю версию Google LLM Gemini для создания запутанных вариантов VBScript.

Он пытается закрепиться с помощью записей в папке «Автозагрузка» и распространяется на съемных носителях и подключенных сетевых ресурсах.

«Самым инновационным компонентом PROMPTFLUX является модуль Thinking Robot, предназначенный для периодического запроса Gemini с целью получения нового кода для обхода антивирусного программного обеспечения», — объясняет Google.

По словам исследователей, запрос очень специфичен и может быть обработан машиной. Они видят признаки того, что создатели вредоносного ПО стремятся создать постоянно развивающийся «метаморфический скрипт».

Функция PromptFlux «Начать думать как робот»
Источник: Google

Компания Google не смогла установить связь между PromptFlux и конкретным злоумышленником, но отметила, что тактика, методы и процедуры указывают на то, что система используется группой, преследующей финансовые цели.

Хотя PromptFlux находился на ранней стадии разработки и не мог нанести реальный ущерб, компания Google приняла меры, чтобы заблокировать доступ к Gemini API и удалить все связанные с ним ресурсы.

Ещё одно вредоносное ПО на основе искусственного интеллекта, обнаруженное Google в этом году и используемое в операциях, — это FruitShell, обратная оболочка PowerShell, которая обеспечивает удалённый доступ к командованию и управлению (C2) и выполняет произвольные команды на взломанных хостах.

Вредоносная программа находится в открытом доступе, и, по словам исследователей, она содержит жестко запрограммированные подсказки, предназначенные для обхода анализа безопасности с помощью больших языковых моделей.

Google также обращает внимание на QuietVault — программу для кражи учётных данных на JavaScript, которая нацелена на токены GitHub/NPM и извлекает захваченные учётные данные из динамически создаваемых общедоступных репозиториев GitHub.

QuietVault использует встроенные в хост-систему инструменты и подсказки AI CLI для поиска дополнительных секретов и их извлечения.

В том же списке вредоносных программ с поддержкой искусственного интеллекта находится PromptLock — экспериментальная программа-вымогатель, которая использует скрипты на языке Lua для кражи и шифрования данных на компьютерах с Windows, macOS и Linux.

Случаи жестокого обращения с Близнецами

Помимо вредоносного ПО на основе искусственного интеллекта, в отчёте Google также описаны многочисленные случаи, когда злоумышленники использовали Gemini на протяжении всего жизненного цикла атаки.

Злоумышленник, связанный с Китаем, выдал себя за участника операции по захвату флага (CTF), чтобы обойти фильтры безопасности Gemini и получить информацию об эксплойте. Он использовал модель для поиска уязвимостей, создания фишинговых приманок и инструментов для кражи данных.

Иранские хакеры MuddyCoast (UNC3313) выдавали себя за студентов, чтобы использовать Gemini для разработки и отладки вредоносного ПО, и случайно раскрыли C2-домены и ключи.

Иранская группа APT42 использовала Gemini для фишинга и анализа данных, создавая приманки, переводя контент и разрабатывая «агента обработки данных», который преобразовывал естественный язык в SQL для сбора персональных данных.

Китайская APT41 использовала Gemini для помощи в написании кода, улучшила свою систему управления и контроля OSSTUN и применила библиотеки обфускации для повышения сложности вредоносного ПО.

Наконец, северокорейская хакерская группировка Masan (UNC1069) использовала Gemini для кражи криптовалют, многоязычного фишинга и создания дипфейков, а группировка Pukchong (UNC4899) — для разработки кода, нацеленного на периферийные устройства и браузеры.

Во всех выявленных случаях Google блокировал связанные аккаунты и усиливал защиту моделей на основе обнаруженных тактик, чтобы затруднить их обход с целью злоупотребления.

Инструменты для киберпреступлений на базе ИИ на подпольных форумах

Исследователи Google обнаружили, что на подпольных торговых площадках, как англоязычных, так и русскоязычных, растёт интерес к вредоносным инструментам и сервисам на основе искусственного интеллекта, поскольку они снижают технические требования для проведения более сложных атак.

«Во многих объявлениях на подпольных форумах используются формулировки, сопоставимые с традиционным маркетингом легальных моделей искусственного интеллекта. В них говорится о необходимости повысить эффективность рабочих процессов и снизить трудозатраты, а также даются рекомендации потенциальным клиентам, заинтересованным в их предложениях», — говорится в отчёте, опубликованном сегодня компанией Google.

Предложения варьируются от утилит для создания дипфейков и изображений до разработки вредоносного ПО, фишинга, исследований и разведки, а также использования уязвимостей.

По мере развития рынка инструментов для киберпреступлений на базе искусственного интеллекта наблюдается тенденция к замене традиционных инструментов, используемых в злонамеренных операциях.

Группа анализа угроз Google (GTIG) выявила несколько организаций, рекламирующих многофункциональные инструменты, которые могут использоваться на разных этапах атаки.

Переход на сервисы на основе искусственного интеллекта выглядит агрессивным, поскольку многие разработчики продвигают новые функции в бесплатной версии своих предложений, которые часто включают доступ к API и Discord за дополнительную плату.

Google подчёркивает, что подход к ИИ со стороны любого разработчика «должен быть смелым и ответственным», а системы ИИ должны быть разработаны с «надёжными средствами защиты», чтобы предотвратить злоупотребления, препятствовать неправомерному использованию и противодействовать враждебным действиям.

Компания заявляет, что расследует любые признаки злоупотребления её услугами и продуктами, в том числе действия, связанные с субъектами угроз, поддерживаемыми государством. Помимо сотрудничества с правоохранительными органами, когда это необходимо, компания также использует опыт борьбы с противниками «для повышения безопасности наших моделей искусственного интеллекта».

Редактор: AndreyEx