DeepSeek создала метод экономии памяти при обучении ИИ

DeepSeek представила новый метод обучения ИИ-моделей, который снижает нагрузку на память без потери эффективности. Китайская компания опубликовала научную работу о технологии «гиперсвязи с ограничением на многообразие» (mHC), которая позволяет создавать конкурентоспособные модели при ограниченных вычислительных ресурсах.

Решение проблемы масштабирования

Группа из 19 исследователей DeepSeek протестировала метод mHC на моделях с 3 миллиардами, 9 миллиардами и 27 миллиардами параметров. Результаты показали, что новая технология не создает существенной дополнительной вычислительной нагрузки по сравнению с традиционным методом гиперсвязей (HC).

Базовый подход HC появился в сентябре 2024 года благодаря исследователям ByteDance. Он представляет собой модификацию архитектуры ResNet — доминирующей системы глубокого обучения, которую в 2015 году разработали ученые Microsoft Research Asia.

Архитектура ResNet и ее ограничения

ResNet помогает сохранять важную информацию при создании сложных нейросетей с большим количеством слоев. Слои сети — это уровни обработки информации в нейронной сети. Представь нейросеть как многоэтажное здание: данные поступают на первый этаж, проходят обработку, затем передаются на второй этаж для дальнейшей обработки, потом на третий и так далее. Каждый такой «этаж» и есть слой. На каждом слое данные анализируются по-разному — например, первые слои могут распознавать простые элементы, а последние — сложные закономерности. Чем больше слоев, тем сложнее задачи может решать нейросеть, но и тем труднее сохранить важную информацию от первого слоя до последнего.

На технологии ResNet работают известные модели OpenAI GPT и Google DeepMind AlphaFold. Но у ResNet есть недостаток: информация, проходя через разные слои сети, может стать слишком общей и потерять свою уникальность.

Гиперсвязи успешно справляются с этой проблемой, расширяя поток остаточных данных и повышая сложность нейросети без изменения вычислительной нагрузки отдельных блоков. Но при этом растет нагрузка на память, что мешает масштабировать архитектуру для больших моделей.

Преимущества метода mHC

Новый подход DeepSeek решает проблему памяти и открывает путь для эволюции архитектур следующего поколения. Компания отмечает, что метод поможет устранить существующие ограничения при обучении крупных моделей.

Публикация отражает культуру открытости китайских разработчиков ИИ, которые делятся значительной частью своих исследований. Эксперты указывают, что научные работы DeepSeek часто показывают техническое направление будущих моделей компании.

Новую крупную модель DeepSeek ожидают в середине февраля. Представленный метод может стать основой для создания более эффективных ИИ-систем при ограниченных ресурсах.

Мнение ИИ

Публикация DeepSeek отражает глобальный тренд демократизации ИИ-технологий. Китайские компании активно развивают методы оптимизации не только из-за ограничений на доступ к передовым чипам, но и для создания конкурентных преимуществ на развивающихся рынках, где вычислительные ресурсы стоят дорого.

Исторический анализ показывает, что прорывы в эффективности часто меняют расстановку сил в технологических гонках. Метод mHC может стать катализатором для стартапов и исследовательских групп, которые не располагают ресурсами технологических гигантов. Интересно, что открытая публикация исследований создает парадокс: делясь знаниями, компании одновременно формируют экосистему, где их собственные будущие модели получат конкурентные преимущества благодаря обратной связи от сообщества разработчиков.

Самые интересные и важные новости на нашем канале в Telegram

Сообщение DeepSeek создала метод экономии памяти при обучении ИИ появились сначала на Hash Telegraph.