Google DeepMind выпустила локальную ИИ-модель для роботов

Компания Google DeepMind выпустила новую языковую модель Gemini Robotics On-Device, которая способна обеспечивать функционирование роботов локально — без подключения к интернету. 

We’re bringing powerful AI directly onto robots with Gemini Robotics On-Device. ?It’s our first vision-language-action model to help make robots faster, highly efficient, and adaptable to new tasks and environments — without needing a constant internet connection. ? pic.twitter.com/1Y21D3cF5t

«Это наша первая модель Vision-Language-Action (VLA), которая поможет сделать роботов более быстрыми, высокоэффективными и адаптируемыми к новым задачам и средам — без необходимости постоянного подключения к интернету», — подчеркнули в ИИ-подразделении Google. 

Архитектор проекта «Робономика» Сергей Лоншаков в комментарии для ForkLog подчеркнул, что VLA — передовое в области гуманоидной робототехники решение. 

«Figure на том же типе моделей сейчас показывает свои коллаборационные производственные сценарии», — отметил он. 

В феврале Figure представила искусственный интеллект собственной разработки Helix для интеграции с роботами. По словам создателей, модель способна «рассуждать как человек». Оснащенные ИИ гуманоиды могут подбирать «практически любые бытовые предметы без какого-либо кода или предварительного обучения». 

Локальное размещение модели на устройстве Лоншаков назвал правильным решением, которое соответствует современным трендам.

«[…] Называется высокоуровневый планировщик задач — он раньше был только в облаках, когда применялся исключительно RL для обучения простой модели действию в симуляции, и после загружалась готовая последовательность операций в робота. Сейчас робототехники пробуют делать seamless-модели, где на этапе планирования нет процессов, останавливающих выполнение операций роботом при смене деятельности на другую. Если бот перестал крутить гайки на конвейере и пошел за новыми деталями, теперь никто не хочет ожидать смены „оснастки“ в его голове», — добавил эксперт.

Ключевые особенности Gemini Robotics On-Device:

• универсальность и ловкость Gemini Robotics с возможностью локальной работы на устройстве;
• выполнение широкого спектра сложных задач с задействованием двух рук;
• освоение новых навыков за 50-100 демонстраций.

Сравнение Gemini Robotics On-Device с Gemini Robotics и другими решениями в бенчмарках. Данные: X.

Дополнительно запущен SDK для помощи разработчикам в настройке модели под работу на собственных приложениях, в том числе путем ее тестирования в физическом симуляторе MuJoCo. Они могут использовать промпты на естественном языке.

From humanoids to industrial bi-arm robots, the model supports multiple embodiments, even though it was pre-trained on ALOHA — while following instructions from humans. These tasks may seem easy for us but require fine motor skills, precise manipulation and more. pic.twitter.com/GhBkCj4juZ

Многие компании продолжают активно развивать сектор. В июне стало известно о работе Amazon над ПО с искусственным интеллектом, которое позволит человекоподобным роботам доставлять посылки в электрических фургонах Rivian.

В марте Nvidia представила движок для моделирования движения роботов.

Ранее 21 человекоподобный робот принял участие в пекинском полумарафоне.