Nvidia выпустила ИИ-модель для автономного вождения

На конференции NeurIPS AI в Сан-Диего, штат Калифорния, Nvidia анонсировала Alpamayo-R1 — открытую языковую модель визуального мышления. Она предназначена для для автопилотирования.

Подобные нейросети способны обрабатывать текст и изображения, позволяя транспортным средствам «видеть» окружение и принимать решения на основе полученной информации.

Новый инструмент основан на базе «рассуждающей» Cosmos-Reason. Nvidia выпустила семейство моделей Cosmos в январе, а в августе представила дополнительные решения.

«Предыдущие версии моделей автономного вождения испытывали трудности в сложных ситуациях — на перекрестках с большим количеством переходов, перед предстоящим закрытием полосы движения или у автомобиля, припаркованном в два ряда на велосипедной дорожке. Рассуждения дают автономным транспортным средствам здравый смысл, позволяющий водить на уровне человека», — отметили в фирме.

Технологии вроде Alpamayo-R1 имеют решающее значение для компаний, которые стремятся достичь четвертого уровня автономного вождения, говорится в блоге Nvidia.

Модель учитывает все возможные траектории, сценарии и затем использует контекстные данные для выбора оптимального маршрута.

Компания надеется, что новый инструмент придаст автономным средствам «здравый смысл», который позволит эффективнее принимать сложные решения в ходе вождения.

Модель загружена на GitHub и Hugging Face. Вместе с ней компания добавила пошаговые руководства, ресурсы для инференса и посттренировочные рабочие процессы. Весь инструментарий называется Cosmos Cookbook.

Материалы призваны помочь разработчикам лучше использовать и обучать нейросети под индивидуальные задачи.

Решения на базе Cosmos

Nvidia сообщила о «практически безграничных возможностях» приложений на основе Cosmos. Среди последних примеров компания назвала:

• LidarGen — первая в мире модель для генерации лидарных данных при симуляции автономных транспортных средств;
• Cosmos Policy — фреймворк для преобразования больших предварительно обученных видеомоделей в надежные политики роботов — набор правил, которые определяют их поведение;
• ProtoMotions3 — решение для обучения ботов с применением реалистичных сценариев.

Nvidia продвигает физический искусственный интеллект как новое направление для своих ИИ-процессоров. CEO компании Дженсен Хуанг неоднократно подчеркивал, что эта сфера станет следующей волной развития ИИ.

Чипмейкер делает ставку на сектор робототехники. В августе он выпустил новый модуль Jetson AGX Thor за $3499. Фирма называет процессор «мозгом робота».

В октябре Хуанг заявил, что искусственный интеллект достиг «спирали успеха». По его словам, значительные улучшения нейросетей приводят к увеличению инвестиций в технологию, что еще сильнее «прокачивает» направление.

Напомним, за третий квартал выручка Nvidia составила $57 млрд, что на 62% больше, чем за аналогичный период прошлого года.