Злоумышленники используют искусственный интеллект X’s Grok для распространения вредоносных ссылок

Злоумышленники используют Grok, встроенного ИИ-помощника X, чтобы обойти ограничения на размещение ссылок, введённые платформой для сокращения вредоносной рекламы.

Как выяснил исследователь из Guardio Labs Нати Тал, рекламодатели часто размещают сомнительную видеорекламу, содержащую контент для взрослых, и не добавляют ссылку на основной контент, чтобы их не заблокировал X.

Вместо этого они скрывают его в небольшом поле «От:» в метаданных под видеокартой, которое, по-видимому, не проверяется платформой социальных сетей на наличие вредоносных ссылок.

Сокрытие вредоносной ссылки в игнорируемом поле
Источник: @bananahacks

Затем (скорее всего) те же самые пользователи спрашивают у Grok в ответ на рекламу что-то о публикации, например: «Откуда это видео?» или «Какая ссылка на это видео?».

Grok анализирует скрытое поле «От:» и отправляет полную вредоносную ссылку в кликабельном формате, чтобы пользователи могли перейти по ней и попасть на вредоносный сайт.

Ответы, вызывающие реакцию Grok
Источник: @bananahacks

Поскольку Grok автоматически становится доверенной системной учётной записью на платформе X, его публикация повышает доверие к ссылке, её охват, SEO-оптимизацию и репутацию, увеличивая вероятность того, что она будет показана большому количеству пользователей.

Исследователь обнаружил, что многие из этих ссылок ведут через сомнительные рекламные сети, которые используются для мошенничества, например для поддельных тестов CAPTCHA, вредоносных программ для кражи информации и других вредоносных целей.

Вместо того чтобы быть заблокированными X, они продвигаются среди пользователей платформы с помощью вредоносной рекламы, которая дополнительно стимулируется Grok.

Тэл называет метод использования этой лазейки «гроккингом» и отмечает, что он очень эффективен: в некоторых случаях вредоносная реклама получает миллионы показов, как показано ниже.

Достижение миллионов показов
Источник: @bananahacks

Возможные решения включают в себя сканирование всех полей, блокировку скрытых ссылок и добавление функции очистки контекста в Grok, чтобы ИИ-помощник не повторял вслепую ссылки по запросу пользователей, а фильтровал их и проверял по спискам блокировки.

Тал связался с X, чтобы сообщить о проблеме, и получил неофициальное подтверждение того, что инженеры Grok получили сообщение.

Редактор: AndreyEx