Сбер представил модель-судью Pollux на 4 млрд параметров: она должна проверять качество ответов других нейросетей, включая RAG-системы и ИИ-агентов. Для российских команд это попытка заменить дорогого LLM-судью компактным инструментом, который можно запустить локально и настроить под собственные критерии качества.
Разработку создало управление экспериментальных систем машинного обучения Сбербанка, сообщает CNews. Pollux Judge оценивает пары «запрос — ответ» на русском и английском, но этим не ограничивается: модель умеет разбирать многоходовые диалоги, ответы с подключённым внешним контекстом и последовательности вызовов инструментов.
Проблема здесь вполне приземлённая. Проверять генеративный сервис руками долго, а универсальной метрики для открытых ответов нет. Одному продукту важнее фактологическая точность, другому — соблюдение политики безопасности, третьему — логика объяснения или формат ответа. Если в приложении есть поиск по базе знаний, диалоговая память и агент, вызывающий API, тест вида «один вопрос — один ответ» быстро превращается в декорацию.
Обычно для такой проверки подключают большую языковую модель и просят её выступить арбитром. Это удобно для эксперимента, но не всегда годится для постоянного контроля: стоимость растёт вместе с объёмом тестов, а результаты могут быть нестабильными. Специализированные решения, в свою очередь, часто плохо подходят для сценариев, где нужно оценивать не только финальный текст, но и работу RAG-контура или агента.
В Pollux пользователю предлагается самому определить критерии, шкалу и формат вывода. Например, команда может отдельно оценивать, подтверждается ли ответ найденными документами, не пропустил ли агент обязательный шаг и не выдал ли чат-бот уверенный, но неподтверждённый совет. Такой подход важнее очередного общего рейтинга моделей: в проде качество почти всегда определяется не абстрактным «умом» нейросети, а набором требований конкретного сервиса.
В основе разработки лежит Pollux Benchmark — набор из 35 групп задач и 2115 экспертно подготовленных запросов. Модель обучали с использованием GRPO, алгоритма обучения с подкреплением, на русскоязычных и англоязычных данных. По данным Сбера, на независимом тестовом наборе с экспертной разметкой и отложенной выборке модель-судья Pollux показала корреляцию Спирмена 0,744 с оценками специалистов. Это означает, что её ранжирование ответов сравнительно хорошо совпадало с человеческими оценками; компания утверждает, что в своих тестах она обошла все проверенные универсальные модели, включая системы до 1,1 трлн параметров.
К цифре стоит относиться как к результату конкретной методики, а не как к универсальному табелю о рангах. Корреляция зависит от состава заданий, инструкций судье и качества экспертной разметки. Но сам разрыв между 4 млрд и сотнями миллиардов параметров показывает практичную мысль: для узкой роли контролёра качества не обязательно держать самую крупную доступную модель. Особенно если оценка нужна в CI, при регрессионном тестировании промптов или перед выпуском обновления ассистента.
Для разработчиков существенна и интеграционная часть. Pollux можно развернуть локально либо использовать через API, совместимый с OpenAI. Заявлена интеграция с фреймворками DeepEval и LightEval, поэтому модель можно встроить в уже существующие пайплайны оценки без отдельного контура под нестандартный интерфейс. Локальный запуск также пригодится компаниям, которые не хотят отправлять тестовые диалоги, корпоративные документы или журналы действий агентов во внешнее облако.
Бизнесу подобные инструменты дают не гарантию «правильного ИИ», а более управляемую процедуру контроля. Вместо выборочной ручной проверки можно зафиксировать требования к тону, безопасности, опоре на источники и прохождению сценария, а затем прогонять их на каждой версии модели, промпта или базы знаний. Правда, сама модель-судья тоже способна ошибаться и наследовать перекосы обучающего набора; критичные сценарии всё равно потребуют экспертной валидации.
Сбер открыл код и демо разработки, а также критерии и данные с экспертной разметкой. Главный вопрос теперь не в том, сможет ли компактный судья заменить большую модель во всех задачах, а в том, насколько команды научатся формулировать измеримые требования к собственным ИИ-продуктам. Если критерий качества нельзя описать, проверить его нейросетью тоже не получится — даже очень компактной.
