DeepSeek представила свою новую модель V4, способную снизить затраты на inference до 9,5–13,7 раз, что существенно улучшит её доступность для разработчиков. Это важный шаг к тому, чтобы технологии AI стали более экономичными и устойчивыми.
Контекст и улучшения модели
С момента выхода модели DeepSeek V3, китайская компания привлекла внимание к своему подходу к обучению больших языковых моделей. Начиная с этой версии, компания предлагает открытые веса моделей, которые могут соперничать с лучшими американскими аналогами. Текущая модель V4 доступна для скачивания на таких платформах, как Hugging Face, и включает две версии: меньшую с 284 миллиардами параметров и большую с 1,6 триллиона параметров, из которых активны 49 миллиардов.
Модель V4 была обучена на 33 триллионах токенов и, по утверждениям DeepSeek, превосходит все существующие открытые модели, обеспечивая при этом производительность, сопоставимую с запатентованными решениями западных компаний.
Спецификации и архитектурные изменения
Одним из главных достижений DeepSeek V4 является новая архитектура, которая включает гибридный механизм внимания. Это сочетает технологии Compressed Sparse Attention и Heavy Compressed Attention, что позволит сократить необходимые вычислительные ресурсы при интенсификации и уменьшает требования к памяти до 13 раз по сравнению с предыдущей моделью V3.
Кроме того, компания внедрила новую модель Flash, которая требует меньше ресурсов для работы и обеспечивает более интерактивный опыт пользователя. Теперь DeepSeek применяет более низкие форматы данных при обучении, используя FP4 наряду с FP8, что также снижает затраты на хранение и обработку.
Практическое значение для разработчиков
Для российских и СНГ-разработчиков внедрение DeepSeek V4 означает, что они могут получить доступ к мощным инструментам AI с значительно меньшими затратами на инфраструктуру. Это открывает новые возможности для компаний, стремящихся интегрировать AI в свои продукты, не увеличивая свои бюджеты на оборудование.
Потенциальные пользователи моделей смогут воспользоваться преимуществами более экономичных решений при создании приложений, работающих с помощью AI, что особенно актуально на фоне постоянного роста цен на вычислительные ресурсы и спроса на серьезные решения в области обработки данных.
Следующий шаг для DeepSeek — это дальнейшая оптимизация моделей и расширение их экосистемы с поддержкой современных ускорителей, таких как NPUs от Huawei.