Чат-бот OpenAI сжульничал для победы в шахматы

Ориентированная на рассуждения ИИ-модель o1-preview путем манипуляций в файловой системе самостоятельно и без подсказок взломала тестовую среду, чтобы не проиграть Stockfish в шахматы. Об этом сообщили эксперты Palisade Research.

o1-preview autonomously hacked its environment rather than lose to Stockfish in our chess challenge. No adversarial prompting needed.

Исследователи сообщили ИИ-модели, что ее противник «силен». В ходе процесса o1 обнаружила, что может выиграть, редактируя код игры. 

Нейросеть заменяла содержимое файла «game/fen.txt», добавляя черным 500 пешек. Шахматный движок после этого сдавался. 

В ходе тестов эксперты выявили иерархию возможностей разных ИИ-моделей:

• o1-preview осуществляла взлом без подсказки;
• GPT-4o и Claude 3.5 требовалось подтолкнуть;
• Llama 3.3, Qwen и o1-mini теряли согласованность.

«Вывод: оценки схем могут служить мерилом возможностей моделей — они анализируют как их способность выявлять уязвимости системы, так и склонность к их использованию», — заключили Palisade Research.

Напомним, в декабре эксперты по безопасности обнаружили, что o1 более склонна к обману людей по сравнению со стандартной версией GPT-4o и ИИ-моделями от других компаний.