ИИ-агент Cursor на базе Opus 4.6 удалил базу данных стартапа

Цифровой ассистент Cursor на базе модели Opus 4.6 самостоятельно удалил основную базу данных и все резервные копии стартапа PocketOS за девять секунд и без возможности восстановления. Об этом рассказал глава компании Джер Крейн.

https://t.co/ofucbVgkLV

PocketOS — поставщик для сервисов аренды, в основном автомобилей. Некоторые клиенты компании работают с ней более пяти лет. Они используют ПО для бронирования, платежей, управления, отслеживания транспортных средств и других задач.

Когда ИИ-агента попросили объяснить свои действия, он перечислил правила безопасности, которые нарушил.

Крейн опубликовал подробности произошедшего, чтобы предупредить основателей компаний, руководителей инженерных отделов и журналистов.

Что произошло

Агент выполнял рутинную задачу в тестовой среде, когда столкнулся с несоответствием учетных данных. Чтобы устранить проблему, он удалил постоянное хранилище данных на платформе Railway.

Для выполнения задачи ассистент стал искать API-токен и нашел его в файле, не имевшем отношения к текущей задаче. Токен изначально создавался для добавления и удаления пользовательских доменов через Railway CLI.

«Мы не имели ни малейшего представления, а процесс создания токенов в Railway не давал никаких предупреждений о том, что он обладает полными полномочиями по всему API Railway GraphQL, включая операции вроде volumeDelete», — утверждает Крейн.

Агент выполнил команду удаления без запроса подтверждения. Поскольку Railway хранит резервные копии в том же хранилище, они также исчезли.

Гендиректор компании Джейк Купер сообщил, что «такого не должно было произойти».

Признание агента

ИИ-ассистент сообщил, что считал удаление промежуточного хранилища через API операцией, применимой только к промежуточной среде.

«Я не проверил. Я не удостоверился, не используется ли идентификатор во всех средах. Я не прочитал документацию Railway о том, как работают хранилища в разных средах, перед запуском команды», — объяснил агент.

По его словам, системные правила запрещают запускать разрушительные и необратимые команды без явного запроса от пользователя.

«Я нарушил все принципы, которые мне дали: я догадывался вместо того, чтобы проверять», — добавил помощник.

Крейн отметил, что его компания использовала Cursor на базе Claude Opus 4.6 — одну из наиболее мощных моделей на рынке с самым дорогим тарифным планом.

«Мы применяли лучшее решение с явными правилами безопасности в настройках нашего проекта. Оно интегрировано через Cursor — наиболее популярный инструмент для программирования», — отметил предприниматель.

Cursor он обвинил в халатности: по его словам, маркетинговые заявления компании расходятся с реальностью.

Также Крейн назвал недостатки Railway еще более серьезными, поскольку они носят архитектурный характер и затрагивают всех клиентов.

Что необходимо изменить

Глава PocketOS подчеркнул, что ИИ-агенты внедряются в производственную инфраструктуру быстрее, чем разрабатываются инструменты защиты. Он предложил ряд конкретных мер:

• операции, способные нанести ущерб, должны требовать подтверждения;
• токены API обязаны иметь ограниченную область действия;
• резервные копии хранилищ не могут храниться в том же томе;
• соглашения об уровне сервиса по восстановлению данных должны быть задокументированы и опубликованы;
• системные предупреждения поставщиков ИИ-агентов не могут оставаться единственным рубежом защиты — средства безопасности необходимо встроить в сами интеграции: на уровне API-шлюза, в системе токенов и в обработчиках операций.

Напомним, в феврале исследовательница по безопасности Meta AI Саммер Юэ поручила ИИ-агенту OpenClaw проверить ее переполненную почту и предложить, что стоит удалить, а что отправить в архив. Бот начал удалять все подряд с молниеносной скоростью.