AI И НЕЙРОСЕТИ

Как метрики ИИ-проверки ЕГЭ скрывали ошибки бота

71,5% ответов совпали с оценкой эксперта: разработчик бота для проверки ЕГЭ показал, как метрики ИИ скрывали ошибки.

✍️ Редакция iTech News | 15.11.2026 | ⏱ 5 мин | Источник: Habr / Новости
💡

Бот для проверки второй части ЕГЭ по обществознанию в ноябре 2026 года совпал с экспертной оценкой в 71,5% случаев, но раньше эта цифра была заметно хуже и порой вводила разработчика в заблуждение. Разбор метрик ИИ-проверки показывает знакомую любому ML- и продуктовой команде проблему: хороший процент в отчёте ещё не означает, что сервис корректно работает у пользователей.

Об опыте разработки сообщает Habr / Новости. Автор проекта сравнивал балл, который выставляет бот, с оценкой эксперта по критериям ФИПИ: языковая модель размечает ответ школьника, а код рассчитывает итоговый балл. В рабочем наборе 433 кейса по заданиям 17–25, но в замер попали 393 — для 40 не было надёжного эталона. С апреля по ноябрь система прошла через несколько моделей и исправления в тестовом контуре: доля точных совпадений выросла с 50% до 71,5%, а завышений — наиболее рискованной для ученика ошибки — снизилась с 33,6% до 9,4%.

Эти результаты нельзя читать как прямое сравнение моделей: сам набор кейсов между замерами расширялся и очищался. Зато они хорошо показывают, насколько легко команда может принять за улучшение продукта изменение тестового стенда, данных или конфигурации. Для ИИ-сервисов, которые оценивают ответы, резюме, обращения в поддержку или документы, это куда важнее очередного процента в презентации.

Когда тест измеряет не тот сервис

Первый и самый неприятный сбой оказался банальным: скрипт для замеров не подгружал файл .env и использовал модель по умолчанию. Поэтому ранние прогоны, помеченные как Claude, фактически выполнялись на Sonnet 5, тогда как в боевом боте работала Sonnet 4.6. Замена модели на одних и тех же промптах давала разнонаправленный эффект: по заданиям 20 и 21 точность росла на 5–7 процентных пунктов, а по 19 и 23 падала на 14–19 пунктов.

Похожая ошибка возникла и при переходе на Claude Sonnet 5.5: прод переключили 9 октября, но регрессионный прогон провели лишь 3 ноября. Итоговая точность оказалась ниже, чем у прежней конфигурации, — 71,5% против 74,2%; доля занижений выросла с 14,4% до 19,1%. Почти месяц пользователи взаимодействовали с версией, чьи свойства никто не подтвердил на полном наборе.

Проблемой была не только модель. В тестовом контуре задания 19 текст условия не передавался в кодовые проверки, хотя в боте он доходил корректно. После исправления точность на том же наборе выросла с 34,9% до 48,8%. Для задания 22 на машине с харнессом отсутствовал файл с ключами ФИПИ: видимые 36,7% завышений после его подключения превратились в 6,7%. А оценщик задания 24, используемый сайтом и B2B API, вообще отличается от кода, которым бот проверяет планы. На десяти тестовых планах эти пути разошлись в итоговом балле в четырёх случаях.

Практический вывод здесь неприятен своей очевидностью: метрики ИИ-проверки должны сниматься на том же маршруте, по которому проходит реальный запрос пользователя. Не на похожем промпте, не на копии сервиса и не на ноутбуке разработчика. В проекте автора отчёт теперь сверяет модель с именем, возвращённым API: в ноябрьском прогоне это было 497 подтверждённых вызовов из 497.

Почему точное совпадение может быть плохой метрикой

Вторая ловушка — «тихие нули». В задании 25 при ошибке разбора ответа модели код молча ставил ноль баллов. В октябрьском замере таких случаев было 16 из 110. Восемь совпали с экспертными нулями и выглядели как успех, ещё восемь попали в занижения. После исправления доля точных совпадений осталась 70%, зато завышения выросли с 10,9% до 13,6%, а занижения сократились с 19,1% до 16,4%.

Это важный нюанс для команд, строящих автоматическую оценку: ошибка инфраструктуры не должна маскироваться под оценку модели. Ноль, возвращённый из-за недоступности API, отказа модели или поломанного парсера, нельзя смешивать с честным нулевым баллом. В описанном проекте сбойные кейсы вынесли из расчёта, а в отчёт добавили отдельный контроль нулей с пустым либо подозрительно коротким разбором. В ноябрьском прогоне не было ни отказов, ни тихих нулей; один кейс упал с первой попытки и успешно прошёл повторно.

Третья ловушка касается распределения данных. По заданию 17 точное совпадение сначала выглядело почти образцовым — 96,7%. Но в 29 из 30 кейсов эксперт поставил максимум: простая заглушка, которая всегда возвращает два балла и не читает ответ, дала бы тот же результат. После добавления синтетических примеров с нулевыми оценками показатель у бота на ноябрьском наборе составил 90,9%, а лучшая константная стратегия — 87,9%.

Автор предлагает сравнивать систему не только с экспертом, но и с «лучшей константой» — вариантом, который каждому кейсу присваивает самый частый балл в выборке. На всём наборе бот набрал 71,5% против 34,1% у такой заглушки, однако по отдельным заданиям преимущество оказалось скромным. В задании 18 обе стратегии дали по 64,1%; в заданиях 17 и 25 разрыв составил лишь 3 и 7 процентных пунктов. Это не делает бот бесполезным: он может ошибаться не на тех же работах, что заглушка, и объяснять снятие баллов. Но «accuracy» без базового уровня в таком случае рассказывает о составе датасета больше, чем о качестве модели.

Для русскоязычных команд, внедряющих LLM в процессы с оценкой людей, главный вопрос теперь не «какую модель поставить», а «можем ли мы доказать, что измеряем именно продовый сценарий и видим все сбои». Чем выше цена ошибки — экзамен, найм, кредитный скоринг или комплаенс, — тем опаснее считать метрики ИИ-проверки без контроля маршрута запроса, статусов ошибок и сильного базового сравнения.

Поделиться: Telegram X LinkedIn