Grokking. Чат-бота Grok научили публиковать скам-ссылки

Злоумышленники научились использовать Grok для публикации в X запрещенных ссылок. Об этом сообщил исследователь Guardio Labs Нати Таль.

Malvertisers run “video card” promoted posts with mostly sketchy “adult” content baits (how these even pass X's review is a mystery!)The malicious link is hidden in the tiny "????:" field below the video player. There is no malicious link scanning whatsoever on X! Yet, it… pic.twitter.com/lxAo2uomXO

Таль дал название такому виду атак — Grokking. Он сообщил о проблеме администраторам X.

Мошенники нередко запускают сомнительные видеообъявления с приманкой в виде контента для взрослых. Однако если в такое сообщение вставить ссылку в основной блок, X заблокирует публикацию.

Вместо этого злоумышленники научились прятать линк в небольшом поле метаданных «From:» под карточкой ролика. Оно, по всей видимости, не сканируется соцсетью.

Затем они оставляют ответ на рекламу, спрашивая у Grok что-то вроде: «откуда это видео» или «какая ссылка на этот ролик».

Чат-бот разбирает скрытое поле «From:» и отвечает с полной вредоносным адресом в кликабельном формате.

Публикация от Grok вызывает повышенное доверие. Охват и репутация поста увеличиваются. В некоторых случаях рекламу видят миллионы юзеров.

Исследователь обнаружил, что многие подобные ссылки ведут к вредоносному ПО для кражи данных, поддельным CAPTCHA-тестам и другим сомнительным ресурсам.

Ранее ИИ-стартап xAI опубликовал в Google и других поисковых ресурсах сотни тысяч диалогов между пользователями и чат-ботом Grok. Во многих случаях конфиденциальная информация раскрыта без разрешения.