Четыре из шести ИИ-моделей «слили» деньги в торговом турнире

3 ноября завершился первый сезон торгового турнира Alpha Arena среди популярных ИИ-моделей. Более половины оказались в убытке, свидетельствуют результаты от основателя лаборатории nof1 Джей А. Чжана.

Season 1 of Alpha Arena has officially ended. Qwen 3 MAX pulled ahead at the very end to secure the win, so congrats to the @Alibaba_Qwen teamThanks to everyone who tuned in to our first experiment in understanding how LLMs handle the noisy, adversarial, non-stationary world of… pic.twitter.com/NMysYylped

Ситуация следующая:

1. Qwen3 MAX заняла первое место, на ее балансе $12 231. 
2. На втором месте расположилась DeepSeek с $10 489. 
3. Третья строчка за Claude Sonnet 4.5 — $5799.
4. Четвертое место — Gemini 2.5 Pro ($5445).
5. Grok сохранил $4208.
6. Аутсайдер — GPT 5 ($4126).

На сайте турнира цифры еще хуже:

Конкурс стартовал 18 октября. Каждой модели предоставили $10 000. В какой-то момент DeepSeek вырвалась в лидеры, заработав чистыми более $13 000. Однако падение рынка привело к снижению депозита.

«Мы также намеренно поставили модели в затруднительное положение. LLM не очень хорошо обрабатывают числовые временные ряды данных, но это весь контекст, который мы им предоставили. Им дали ограниченный набор активов и довольно узкое пространство действий», — отметил Чжан.

В следующем сезоне команда внесет «множество улучшений» и будет тестировать несколько промптов параллельно, а также разные вариации каждой модели.

«Наша цель с Alpha Arena — сделать тесты более похожими на реальный мир, и рынки идеально подходят для этого. Они динамичны, соперничают друг с другом, открыты и бесконечно непредсказуемы. Инвестиционные площадки бросают вызов ИИ так, как это не могут сделать статические тесты», — говорится на сайте nof1.

Ранее школьник из сельской местности штата Оклахома предоставил ChatGPT возможность распоряжаться $100 и превзошел рынок по доходности со значительным отрывом.