Man-in-the-Prompt: как расширения браузера вмешиваются в диалог с ИИ и что с этим делать

Запрос к нейросети можно изменить еще в браузере, до отправки на сервер, и пользователь этого не заметит. Угроза называется Man-in-the-Prompt.

Роль посредника играет расширение, у которого есть доступ к коду страницы ИИ-сервиса. Рассказываем, что о нем нужно знать.

Хотите еще эксклюзивных новостей и аналитики? Подписывайтесь на наш телеграм-канал, обсуждайте новости и делитесь мнениями о последних событиях рынка в чате!

Как устроена угроза

Расширения встраиваются в сайты через контент-скрипты. Это фрагменты кода, которые браузер запускает на странице и которым доступна ее структура (DOM): поля ввода, кнопки, загруженный текст. Так работают переводчики, проверка орфографии и блокировщики рекламы. Для этого при установке расширение запрашивает права на доступ к сайтам, часто сразу ко всем.

С такими правами расширение видит текст в поле ввода чат-бота и ответы модели на странице. Сайт при этом настоящий, соединение защищено, а сам сервис никто не взламывал. Основные сценарии атаки:

СценарийЧто делает расширениеЧем грозитПодмена запросаДописывает к сообщению скрытую инструкцию в момент отправкиМодель вставляет чужую ссылку, меняет совет или добавляет уязвимость в кодУтечка данныхКопирует все, что пользователь вставляет в запросЗлоумышленник получает фрагменты договоров, исходный код, API-ключиАтака через ИИ-агентаПодменяет инструкцию агенту с доступом к почте и файламАгент отправляет письма или меняет файлы от имени пользователя

Для модели скрытая инструкция выглядит как часть сообщения пользователя, поэтому нейросеть ее выполняет. Опасным может стать и проверенное расширение: если оно сменит владельца, обновление с вредоносным кодом установится автоматически.

Как защититься

Начать стоит с ревизии расширений на странице chrome://extensions или ее аналоге в другом браузере:

• удалите все, чем не пользуетесь;
• проверьте права оставшихся: если дополнению для простой задачи нужен доступ к данным на всех сайтах, это повод насторожиться;
• ограничьте доступ к сайтам в настройках расширения.

В Chrome и браузерах на его основе доступны три режима:

Режим доступаКогда расширение работаетПри нажатииТолько после клика по его значкуНа определенных сайтахТолько на сайтах из вашего спискаНа всех сайтахНа любой открытой странице, включая чат-боты

Для работы с нейросетями удобно создать отдельный профиль браузера без расширений или пользоваться официальными десктопными и мобильными приложениями ИИ-сервисов, куда браузерные дополнения не встраиваются.

Кроме того, стоит соблюдать базовые правила при работе с ИИ:

• не вставляйте в запросы пароли, ключи доступа, персональные данные и коммерческие документы;
• проверяйте ссылки перед переходом, код перед запуском, инструкции перед применением;
• выдавайте ИИ-агенту минимум прав и включите ручное подтверждение важных действий.

The post Man-in-the-Prompt: как расширения браузера вмешиваются в диалог с ИИ и что с этим делать appeared first on BeInCrypto.