Cohere представила новую языковую модель Command A+, обладающую 218 миллиардами параметров. В отличие от конкурентов, таких как OpenAI и Anthropic, эта модель доступна бесплатно на платформе Hugging Face под лицензией Apache 2.0, что позволит компаниям использовать её в безопасных и контролируемых условиях.
Преимущества новой модели
Command A+ разработана с упором на сложное мышление и мультидокументную обработку. При этом, несмотря на внушительное количество параметров, активными одновременно являются только 25 миллиардов, что снижает вычислительную нагрузку. Это позволяет экономить ресурсы и эффективно обрабатывать запросы на уровне, сопоставимом с более «тяжеловесными» моделями.
Технически новинка основана на архитектуре Sparse Mixture-of-Experts (MoE), где единожды активируются только те нейросети, которые лучше всего подходят для обработки конкретного запроса. Данная оптимизация делает модель значительно более эффективной, что также дополнительно укрепляет её позиции на рынке.
Улучшенная эффективность через квантование
Ключевым моментом в Command A+ является использование технологии квантования, позволяющей значительно снизить объём памяти без потери качества обработки. Модель доступна в 16-битном, 8-битном и сверхсжатом 4-битном форматах, что даёт возможность запускать её даже на одиночных GPU, таких как NVIDIA Blackwell B200. По данным Cohere, сжав параметры до 4 бит, они смогли сохранить высокую точность обработки запросов, что является большим достижением для компании.
На базе новой модели теперь возможно достигать скорости обработки до 375 токенов в секунду при задержке всего 113 миллисекунд — это быстрее на 63% по сравнению с предыдущей версией Command A.
Значение для разработчиков
Для разработчиков и предприятий это значит, что появилась возможность интегрировать мощную AI-технологию без значительных инвестиций, а также полная автономность в управлении данными. В условиях растущей регуляции в сфере AI это решение предоставляет компаниям возможность безопасно использовать передовые технологии, не полагаясь на сторонние решения.
Следующий шаг для Cohere — продолжать улучшать свои технологии и расширять возможности Command A+ для различных бизнес-приложений.