Nvidia использовала около 20 тысяч обучающих примеров, чтобы исправить ошибки своей 550-миллиардной модели Nemotron 3 Ultra в задачах программирования. Дообучение Nemotron проводили через агентскую обвязку Droid от Factory — и, по данным публикации, это заметно улучшило её результаты в кодинговых тестах. Для команд, которые пытаются получить пользу от ИИ не в демо, а в репозитории с настоящими багами, история важнее очередной гонки числа параметров.
О подходе дообучения Nemotron сообщает The New Stack. Вместо абстрактного набора «хороших ответов» Nvidia собрала данные из процесса, где агент решает инженерные задачи, получает обратную связь и сталкивается с собственными промахами. Получившиеся примерно 20 тысяч строк посттренировочных данных стали материалом для донастройки Nemotron 3 Ultra — модели с 550 млрд параметров.
Ключевой инструмент в этой схеме — Droid, coding-agent harness компании Factory. Такие обвязки нужны не для красивого диалога с моделью, а для воспроизводимого цикла работы: агент получает задачу, изучает код, меняет файлы, запускает проверки и видит результат. Если решение не прошло тесты или привело к другой ошибке, этот след можно превратить в полезный пример для обучения. Именно здесь заканчивается привычная магия формулировки «модель стала лучше» и начинается инженерия качества данных.
Сам по себе объём в 20 тысяч примеров не выглядит гигантским на фоне датасетов предварительного обучения, которые измеряются триллионами токенов. Но посттренинг решает другую задачу. Базовая модель уже умеет писать код и рассуждать о нём; её нужно научить вести себя надёжнее в конкретном рабочем контуре: проверять гипотезы, учитывать ошибки компиляции и тестов, не бросать задачу после первого правдоподобного патча. В таких случаях десятки тысяч качественных траекторий могут оказаться ценнее ещё одного безадресного массива текста из интернета.
Это также хороший контраргумент популярной, но ленивой идее, будто качество кодового агента определяется прежде всего размером модели. Nemotron 3 Ultra уже относится к чрезвычайно крупному классу моделей, однако Nvidia улучшала её не только масштабированием. Компания сфокусировалась на данных, описывающих неудачные попытки и их исправление. Для разработчиков вывод довольно приземлённый: если внутренний помощник регулярно ошибается на ваших CI-пайплайнах, миграциях или типовых задачах, полезнее сначала собрать качественный контур обратной связи, чем немедленно менять провайдера модели.
У такого подхода есть и ограничения. Агент легко научить проходить узкий набор проверок, не сделав его универсально сильнее. Поэтому ценность подобных результатов зависит от того, насколько задачи и оценка отделены друг от друга: если модель видит слишком похожие сценарии во время дообучения и тестирования, рост метрики может оказаться косметическим. Публичная заметка говорит о повышении coding score, но не приводит в приведённом описании конкретное значение, название бенчмарка или методику сравнения. Принимать формулировку о скачке качества стоит как сигнал о направлении работы, а не как готовую закупочную спецификацию.
Для российского рынка, где команды часто разворачивают модели в закрытом контуре или комбинируют локальные решения с внешними API, этот кейс особенно практичен. Необязательно воспроизводить 550-миллиардную модель Nvidia, чтобы применить логику эксперимента. Можно взять доступную модель, определить несколько повторяющихся классов задач — например, исправление падений тестов, обновление зависимостей или генерацию интеграционных тестов, — а затем фиксировать действия агента и результат проверки. Важно хранить не только финальный патч, но и контекст задачи, команды в терминале, сообщения об ошибках и причину, по которой решение было принято или отклонено.
При этом данные от агентов требуют той же дисциплины, что и любой другой производственный контур. В логах могут оказаться секреты, фрагменты закрытого кода и персональные данные. Кроме того, автоматический сбор неудач быстро производит много шума: неверно поставленная задача, нестабильный тест или сломанное окружение способны попасть в датасет как «опыт модели». Дообучение Nemotron напоминает, что качество такого контура определяется не числом записей, а точностью сигналов: агент должен понимать, что именно считается ошибкой и почему исправление действительно сработало.
Гонка ИИ для разработки всё заметнее смещается от вопроса «какая модель лучше пишет функцию» к вопросу «какие следы реальной инженерной работы мы умеем безопасно превратить в обучение». Nvidia показала, что даже для сверхкрупной модели улучшение можно искать в аккуратной работе с несколькими десятками тысяч примеров. Следующий интересный рубеж — не размер следующего датасета, а способность агентских систем учиться на реальных репозиториях, не превращая CI в дорогой генератор случайных патчей. Подробнее о кейсе — в материале .

