IBM ускорила ИИ-модель с помощью квантового процессора

Исследователи Multiverse Computing заявили о квантовом улучшении большой языковой модели на оборудовании IBM. Речь идет о гибридной схеме с использованием 156-кубитного процессора Heron. 

Авторы назвали эксперимент первым «сквозным квантовым улучшением» LLM на сверхпроводящем процессоре для авторегрессионной генерации текста.

В тестах использовали Llama 3.1 8B от Meta. Базовую модель не дообучали: параметры «заморозили» и добавили квантовые адаптеры — Cayley-parameterized unitary adapters (CUA). Сначала их тренировали классическим образом, затем подключили к гибридной квантово-классической схеме.

Эксперимент провели на IBM Quantum System Two — архитектуре для гибридных квантовых систем. В установке задействовали 156-кубитный чип Heron.

Гибридная версия снизила перплексию Llama 3.1 8B на 1,4%. Для этого добавили около 6000 параметров — примерно 0,000075% от размера модели. 

В ходе демонстрации квантово-улучшенная Llama правильно ответила на вопросы по астрономии и биологии, с которыми не справилась базовая версия (например, о наличии колец у всех планет-гигантов).

По словам ведущего автора исследования Борхи Айспуруа, работа является доказательством концепции. Квантовые блоки позволили точнее предсказывать следующий токен в тексте при минимальных затратах вычислительных мощностей. 

Команда рассчитывает добиться дальнейшего снижения перплексии и роста точности при меньшем числе параметров по сравнению с полностью классическими подходами.

Напомним, в мае котировки квантовых компаний выросли после объявления Минторга США о выделении $2 млрд американским фирмам в рамках программы CHIPS R&D.