Huawei представила новый формат HiFloat4 для обучения и вывода AI, который показал лучшие результаты в сравнении с аналогом MXFP4. Это может стать сигналом для российских разработчиков об эффективности использования низкопрофильных решений в вычислительных задачах на базе своих мощностей.
Контекст: Нарастание интереса к низким форматам
Как отмечают аналитики, использование формата HiFloat4 подчеркивает восходящую тенденцию в Китае к разработке собственных низкопрофильных форматов данных, в то время как экспортные ограничения увеличивают интерес к повышению эффективности местных чипов. Например, процессоры Huawei Ascend активно задействуются в проекте.
Детали тестирования и результаты
В ходе испытаний HiFloat4 против MXFP4 на HuaWei Ascend, который считается специализированным ускорителем для глубокого обучения, новинка показала относительную потерю порядка 1% в выходных этих по сравнению с базовым форматом BF16. Для образцов Llama и Qwen полученный результат упал ниже 1% с помощью единственного метода стабилизации. В то время как MXFP4 для достижения аналогичного результата требовал комбинацию методов.
Исследователи провели испытания на моделях OpenPangu-1B, Llama3-8B и Qwen3-MoE-30B. В своих выводах они отметили, что чем больше модель, тем сильнее HiFloat4 показывает свою эффективность в снижении потерь по сравнению с базой BF16.
Практические выводы для разработчиков
Для ИТ-компаний в России это означает возможность разработки более эффективных и адаптированных под местные условия решений. Поскольку азиатские компании продолжают искать способы оптимизации своих чипов в условиях экспортных ограничений, использование формата HiFloat4 может дать конкурентное преимущество в создании AI-моделей с высокой производительностью.
На горизонте - дальнейшая интеграция HiFloat4 в стратегии развивающихся AI-платформ, что откроет новые возможности как для корпоративных пользователей, так и для стартапов в России.