DeepSeek DeepInfer — движок инференса, который компания использует для обслуживания моделей в production, — теперь опубликован в открытом доступе. Для команд, разворачивающих большие языковые модели самостоятельно, это не новая нейросеть, а более ценный слой: код, отвечающий за то, чтобы модель не просто запустилась на стенде, а переваривала поток запросов с приемлемой скоростью.
Вместе с движком компания выложила библиотеку deepseek-recipe для преобразования API-запросов в входные данные модели и обработки ответов, сообщает The New Stack. В документации DeepInfer заявлена работа на GPU Nvidia SM100 и нейропроцессорах Huawei Ascend 950. Для рынка это показательный жест: Huawei в списке поддерживаемых платформ стоит рядом с Nvidia, хотя измерения производительности DeepSeek пока опубликованы только для оборудования Nvidia.
DeepInfer рассчитан на высокопроизводительный и масштабный запуск моделей DeepSeek. В наборе есть оптимизированные вычислительные ядра, распределённый инференс, несколько схем параллелизма для механизмов внимания и моделей mixture-of-experts, спекулятивное декодирование, асинхронное пакетирование запросов и структурированный вывод. Последнее полезно там, где ответ модели должен быть не красивым абзацем, а строго валидным JSON, результатом по EBNF-грамматике или строкой, удовлетворяющей регулярному выражению.
Отдельно DeepSeek открыла deepseek-recipe — компонент на Rust с Python-привязками. Он приводит запросы, совместимые с Chat Completions API, Responses API и Messages API, к общему формату диалога и токенов. Практический смысл прозаичен: при переходе между моделями и совместимыми API командам приходится поддерживать не только генерацию токенов, но и шаблоны промптов, разбор вызовов инструментов, специальные токены и форматирование результата. Такой слой редко выглядит эффектно в демо, зато именно в нём часто заводятся несовместимости и уязвимости.
Не готовый API-сервер, а заметная часть его начинки
Публикация не означает, что любой разработчик может развернуть точную копию облачного API DeepSeek одной командой. В открытый релиз вошёл офлайн-движок с ключевыми функциями serving, но не вся обвязка крупного онлайн-сервиса. В частности, в README указано, что разделение этапов prefill и decode, а также часть необходимой для этого функциональности ещё не поставляются как законченный сценарий. Prefill обрабатывает входной контекст, decode генерирует токены ответа; на больших нагрузках их обычно выгодно разносить по разным группам ускорителей.
Это важное уточнение для российских компаний, считающих экономику self-hosted LLM. Открыть веса модели и поднять единичный endpoint сравнительно легко; обеспечить предсказуемую задержку, изоляцию арендаторов, очередь, наблюдаемость, отказоустойчивость и балансировку на реальном трафике — уже инженерный проект. DeepInfer может стать основой такого контура либо источником оптимизаций для собственных решений, но не отменяет необходимость API-шлюза, хранилища KV-кеша, мониторинга и эксплуатации кластера.
В опубликованных измерениях DeepSeek использует четыре Nvidia SM100 для prefill и 64 таких ускорителя для decode. Эти цифры демонстрируют масштаб конфигурации, на которой тестировался движок, но не дают сопоставимого результата для Ascend 950. Поэтому формулировку о поддержке Huawei пока не стоит превращать в вывод о равной производительности или стоимости владения: публичного сравнения двух платформ в материалах релиза нет.
Почему упоминание Huawei важнее списка совместимости
Экосистема инференса много лет строилась вокруг CUDA и ускорителей Nvidia. Поддержка альтернативного железа требует не одной сборки проекта: нужны вычислительные ядра, коммуникации между устройствами, настройки параллелизма, отладка сбоев и профиль производительности под конкретную архитектуру. Открытый production-код DeepSeek показывает, как разработчик крупной модели реализовал эту связку для двух аппаратных платформ. Это может быть полезнее очередного маркетингового заявления о «совместимости» — особенно для поставщиков инфраструктуры и команд, которым приходится учитывать доступность ускорителей, а не только бенчмарки.
Для рынка API это также повышает планку прозрачности. Поставщики моделей обычно демонстрируют результат через тарифы и скорость ответа, но редко публикуют внутренний serving-слой, на котором этот результат держится. DeepSeek уже распространяла веса моделей и инфраструктурные компоненты, а теперь отдаёт сообществу значительную часть инженерных решений, накопленных при их эксплуатации. Конкуренты могут изучать подходы к планированию запросов и оптимизации MoE, а интеграторы — адаптировать идеи под собственные ограничения.
Главный вопрос теперь не в том, запустится ли DeepSeek DeepInfer на заявленных ускорителях, а в том, насколько быстро вокруг него появятся воспроизводимые тесты, инструменты развёртывания и готовые production-паттерны. Если сообщество закроет этот разрыв, рынок получит ещё один сильный открытый фундамент для обслуживания LLM — и менее монолитную зависимость от одного программно-аппаратного стека. Исходный код и документация доступны в со ссылкой на репозитории DeepSeek.
