Nvidia представила Nemotron 3.5 Transcribe — открытую модель для расшифровки аудио, способную по текстовой инструкции менять вид результата: оставить речь дословной, убрать слова-паразиты, учитывать терминологию, разметить реплики спикеров или перевести запись. Для российских команд это интереснее обычного запуска очередного ASR: модель обещает перенести часть логики редактора транскриптов в промпт и разворачивается локально, без обязательной отправки записей во внешнее облако.
О запуске сообщает The New Stack. Nvidia заявляет поддержку 40 языков, обработку записей продолжительностью до часа и выдачу временных меток на уровне слов по запросу. Модель доступна с открытыми весами по лицензии OpenMDW-1.1; опубликованы варианты в BF16, FP8, NVFP4 и GGUF. Последний вариант особенно примечателен для тех, кто рассматривает запуск вне типового серверного контура Nvidia, хотя требования и скорость стоит проверять на своей инфраструктуре, а не по красивой строке в карточке модели.
Ключевое отличие Nemotron 3.5 Transcribe от привычного конвейера «аудио на входе — один текст на выходе» — управляемость формата. В одном запросе можно попросить дословную стенограмму со всеми паузами и повторами, в другом — читаемый текст с нормализованными числами и пунктуацией. Для технического созвона полезно передать список ожидаемых названий продуктов, библиотек, фамилий или аббревиатур: модель использует этот контекст при расшифровке. Это не отменяет проверку результата, но снижает число смешных и дорогих ошибок, когда Kubernetes превращается в «кубернетис», а имя клиента — в случайный набор слогов.
Одна модель вместо набора надстроек
Внутри у новинки не классический компактный движок распознавания речи, а speech-augmented language model: аудиокодер объединён с языковой моделью Nemotron 3.5 Lightning и отдельным компонентом для диаризации. Всего заявлено 34 млрд параметров, но активными при обработке остаются примерно 4,3 млрд. Такая архитектура нужна не только ради расшифровки: модель умеет определять язык речи, переводить аудио, отвечать на вопросы по содержанию записи, различать участников разговора и возвращать связанные со спикерами таймкоды.
Nvidia приводит результаты на открытых бенчмарках: средний WER, то есть доля ошибок в словах, составил 4,71% на девяти наборах английского Open ASR Leaderboard и 4,62% на многоязычном рейтинге. В задачах контекстной расшифровки компания также заявляет шестикратное сокращение ошибок в именованных сущностях на ContextASR-Bench. Это показатели самой Nvidia и сравнивать их с качеством на реальных русскоязычных звонках стоит осторожно: на практике многое решают качество микрофонов, наложение голосов, акценты, предметная лексика и правила, по которым команда считает ошибку.
Диаризация и пословные таймкоды делают модель потенциально полезной для записей встреч, интервью, контакт-центров и видеоредакции. Обычно такие сценарии собирают из нескольких сервисов: один распознаёт звук, второй делит дорожку на спикеров, третий правит текст и извлекает сущности. Здесь Nvidia предлагает собрать значительную часть цепочки вокруг одного чекпойнта и инструкции. Это упрощает прототип, но не гарантирует простой промышленный запуск: остаются мониторинг качества, хранение аудио, контроль доступа к стенограммам и обработка персональных данных.
Открытые веса не означают лёгкое внедрение
Для разработчиков важна и производительность. Nvidia утверждает, что оптимизированный вариант NVFP4 с черновой моделью DFlash2 на одной RTX PRO 6000 Blackwell способен обрабатывать до 2 238 секунд аудио за секунду. Это измерение относится к оптимизированному сервисному стеку Nemotron Transcribe NIM; в открытой интеграции с NeMo Speech и vLLM скорость, по данным карточки модели, ожидается примерно вдвое ниже. Базовый ориентир для референсного BF16-чекпойнта — одна H100 с 80 ГБ памяти. Иными словами, локальность и открытые веса доступны, но для серьёзной нагрузки это всё ещё история про дорогие GPU, а не про запуск на первом свободном ноутбуке.
У модели есть и вполне практичное ограничение: она работает офлайн и не является потоковым ASR-сервисом реального времени. Внутренняя нарезка длинного аудио не превращает её в движок для субтитров с минимальной задержкой во время звонка. Поэтому продуктовым командам лучше разделить сценарии. Для последующей обработки часовой встречи, анализа звонков поддержки или подготовки субтитров такая модель может быть сильным кандидатом. Для голосового интерфейса, где ответ требуется через сотни миллисекунд, потребуется другой стек либо отдельная инженерная работа над очередями, чанками и задержками.
Отдельная ценность Nemotron 3.5 Transcribe — возможность не переобучать модель ради каждого правила оформления. Внутреннему юристу можно отдавать стенограмму максимально близко к речи, редакции — текст без оговорок и повторов, отделу продаж — расшифровку с разметкой участников и названиями продуктов. Но промпт в таком подходе становится частью производственного контура: его нужно версионировать, тестировать на контрольных записях и не менять между отчётными периодами без оценки последствий.
Рынок распознавания речи постепенно смещается от соревнования за одну цифру WER к борьбе за управляемый результат: кто сказал фразу, как записать термин, что выкинуть из устной речи и можно ли сразу извлечь смысл из разговора. Nvidia делает ставку на то, что эти вопросы выгоднее решать инструкцией к единой модели. Главный тест для Nemotron 3.5 Transcribe будет не в лидербордах, а в корпоративных архивах созвонов — особенно там, где доменная лексика, несколько языков и требования к приватности обычно ломают демо за первые десять минут.
