Mistral выпустил новую линейку ИИ-моделей

Французский ИИ-стартап Mistral представил третью версию одноименной линейки моделей с открытыми весами.

Introducing the Mistral 3 family of models: Frontier intelligence at all sizes. Apache 2.0. Details in ? pic.twitter.com/lsrDmhW78u

В серию из 10 нейросетей входит одна большая передовая LLM с мультимодальными и мультиязычными возможностями. Девять других имеют меньший размер, способны работать в автономном режиме и настроены под индивидуальные задачи.

«Наши клиенты иногда с удовольствием начинают с очень большой модели, которую не нужно настраивать. После интеграции они понимают, что она дорогая и медленная, поэтому обращаются к нам для настройки небольших решений», — отметил соучредитель и главный научный сотрудник Mistral Гийом Лампле.

Основанный выходцами из DeepMind и Meta стартап позиционируется как ключевой европейский конкурент ИИ-гигантам из США и Китая. Компания суммарно привлекла $2,7 млрд при оценке в $13,7 млрд.

По словам Лампле, первичные тесты могут создавать впечатление, что небольшие модели Mistral уступают аналогам. Однако он назвал такие выводы обманчивыми: крупные нейросети действительно демонстрируют высокие метрики «из коробки», но реальная эффективность решений раскрывается именно после их донастройки.

«Во многих случаях можно достичь результатов, сопоставимых с моделями с закрытым исходным кодом, или даже превзойти их», — сказал он.

Рой экспертов

Флагманская Large 3 построена на архитектуре Granular Mixture of Experts. В отличие от классического подхода Mixture of Experts, использующего небольшое число «экспертов», новая технология делит нейросеть на множество мелких специализированных модулей.

Из 675 млрд общих параметров модели активными являются 41 млрд. В сочетании с контекстным окном в 256 000 токенов такая конфигурация обеспечивает высокую скорость работы с объемными документами и эффективность при выполнении агентных задач.

Остальные 9 нейросетей представляют собой модели трех размеров — 14 млрд, 8 млрд и 3 млрд параметров. Есть три варианта настроек:

• Base — предварительно обученная базовая модель;
• Instruct — оптимизированная для чата, разговоров и рабочих процессов;
• Reasoning — настроена для сложных логических и аналитических задач.

Данный диапазон дает разработчикам и предприятиям гибкость в подборе моделей в соответствии с их задачами.

Согласно заявлению Mistral, Ministral 3 не уступает или даже превосходит конкурентов с открытыми весами. При этом она более эффективна и генерирует меньше токенов для эквивалентных задач.

По словам Лампле, модель способна работать на одном графическом процессоре. Это позволяет запустить ее на доступном оборудовании: от локальных серверов и ноутбуков до роботов и периферийных устройств.

Это важно для предприятий, которые хранят данные на собственных серверах, удаленных команд робототехников и студентов, работающих в автономном режиме.

«Часть нашей миссии — обеспечение доступности ИИ для всех, особенно людей без интернета. Мы не хотим, чтобы технология контролировалась лишь несколькими крупными лабораториями», — подчеркнул Лампле.

Физический ИИ

Mistral уделяет все больше внимания физическому ИИ. С начала года компания занимается интеграцией компактных моделей в роботов, дроны и транспортные средства.

Фирма сотрудничает с:

• сингапурским агентством Home Team Science and Technology Agency в области специализированных моделей для ботов, систем кибер- и пожарной безопасности;
• немецким стартапом из сектора оборонных технологий Helsing для интеграции технологий в дроны;
• корпорацией Stellantis для улучшения автомобильных ИИ-помощников.

Напомним, в июле CEO SAP SE Кристиан Кляйн заявил, что Европе не нужен шквал новых дата-центров для конкуренции в области ИИ.