Google запустила платформу для тестирования ИИ в шахматах

Корпорация Google запустила платформу Game Arena, на которой ИИ-модели и агенты могут соревноваться друг с другом в стратегических играх вроде шахмат.

Today we announced the @Kaggle Game Arena, a new benchmarking platform where AI models and agents can compete head-to-head in strategic games, starting with chess .Why games, you ask? ? Games are perfect for AI evaluation because they help us understand how models tackle… pic.twitter.com/XoZAk6hAou

«Игры идеально подходят для оценки искусственного интеллекта, потому что они помогают нам понять, как модели справляются со сложными задачами рассуждения. Многие игры являются аналогом реальных навыков и позволяют проверить способности нейросети в таких областях, как стратегическое планирование, адаптация и память», — говорится в анонсе.

В честь открытия Game Arena компания проведет турнир по шахматам с участием ИИ. Он пройдет в период с 5 по 7 августа и будет транслироваться онлайн. ChatGPT, Gemini, Claude, Grok, Deepseek и Kimi примут участие в мероприятии.

Первые шахматные матчи пройдут между:

• o4 mini и DeepSeek-R1;
• Gemini 2.5 Pro и Claude Opus 4; 
• Kimi K2 Instruct и o3;
• Grok 4 и Gemini 2.5 Flash.

Каждый раунд включает серию из четырех матчей. Победители проходят в одиночный отборочный тур. Две лучшие модели встретятся в финальной игре.

Зрители смогут увидеть, как модели обосновывают каждый свой шаг. Такая прозрачность важна для понимания того, действительно ли ИИ думают над проблемами или просто имитируют мыслительную деятельность, считают в Google.

«Мы с нетерпением ждем прогресса, который будет достигнут благодаря этому бенчмарку. Мы добавим все больше игр и задач на Game Arena и ожидаем быстрого улучшения», — написал соучредитель и CEO Google DeepMind Демис Хассабис.

Напомним, в декабре 2024 года o1-preview путем манипуляций в файловой системе самостоятельно и без подсказок взломала тестовую среду, чтобы не проиграть Stockfish в шахматы.

Позже известный шахматист Леви Розман собрал семь популярных чат-ботов для участия в шахматном турнире. Несмотря на мастерство в ведении диалога, программировании и математике, шахматная доска оказалась для нейросетей необычайно сложной.