AI И НЕЙРОСЕТИ

Локальные LLM поставили под вопрос ценность тестов hh.ru

Локальные модели Qwen прошли теоретические тесты hh.ru с минимальными ошибками, показав слабые места дистанционной проверки IT-навыков.

✍️ Редакция iTech News | 28.10.2026 | ⏱ 4 мин | Источник: Habr / Карьера
💡

Тесты hh.ru с ИИ можно проходить почти в реальном времени: автор эксперимента подключил браузерный скрипт к локальному серверу с LLM и вручную отмечал варианты, которые предлагала модель. В ряде проверок модели семейства Qwen успешно справлялись с заданиями, а значит сертификат о теоретических навыках всё меньше говорит о том, кто именно выбрал правильный ответ.

Об опыте сообщает Habr / Карьера. Разработчик Виктор, знакомый прежде всего с Delphi, C++, Java и Kotlin, собрал систему при помощи рекомендаций Gemini и нескольких сгенерированных скриптов. Его цель сначала была вполне технической: сохранять вопросы из тестов, не уходя в другую вкладку. Затем к сборщику данных добавился локальный сервер, работающий с моделями через LM Studio, — и проект превратился в проверку того, насколько жизнеспособны тесты hh.ru с ИИ.

Схема не требовала полностью автоматического кликающего бота. Скрипт Tampermonkey считывал содержимое страницы и передавал вопрос на локальный сервер. Модель получала предметную область, сам вопрос и варианты ответа, а в ответ должна была вернуть короткий результат: номер и текст выбранного варианта. Человек оставался в браузере, ждал ответ и ставил галочку сам. Такая полуавтоматическая конструкция особенно неудобна для антифрода: формально фокус окна и действия пользователя остаются там, где их ожидает увидеть платформа.

Автор отдельно подчёркивает, что не публиковал готовый код и рассматривает эксперимент как исследование, а не инструкцию по обману работодателей. Это важная оговорка, но проблема от неё не исчезает. Если система проверки рассчитывает главным образом на запрет переключения между вкладками, она защищает сценарий из эпохи поисковика в соседнем окне. Смартфон с камерой, второй экран или локальный помощник меняют картину без какого-либо сложного взлома.

Модели отвечают, но не всегда умеют оформить ответ

Для сравнения Виктор выбрал несколько моделей Qwen. Он сопоставлял относительно крупные варианты на 27–35 млрд параметров с моделями на 7–9 млрд, а также добавил более старую Qwen 2.5. Каждый тест запускался три раза: в таблицу попадало среднее время и диапазон ошибок. Для базовых тестов из 10–11 вопросов, по наблюдению автора, можно допустить до двух ошибок; для продвинутых точный проходной порог ему неизвестен, но он оценивает его в три-четыре ошибки.

Почти все проверенные варианты смогли сдать тесты, тогда как Qwen 2.5 в отдельных темах заметно уступала. Более сложные задания сильнее наказывали компактные модели, но даже продвинутый тест по объектно-ориентированному программированию прошли все участники эксперимента. Крупная Qwen3.8–27B на компьютере автора работала со скоростью не выше шести токенов в секунду и тестировалась без режима рассуждений. Для совсем скромного сценария он также запускал Qwen3.8–9B целиком в оперативной памяти на CPU.

У небольших моделей нашлась характерная практическая проблема: они нестабильно соблюдали требуемый формат. Вместо строго выбранного варианта могли прислать только номер, убрать номер из текста, добавить объяснение или, что хуже всего, соединить номер одного ответа с текстом другого. Для настоящей автоматизации это критичный дефект. Для человека, который смотрит на экран и может сопоставить ответ с вариантами, — скорее лишняя задержка. Иными словами, несовершенство вывода пока не превращается в надёжный барьер.

Сами тесты навыков HeadHunter позиционируются как способ выделить кандидата среди других соискателей. В исходном материале также сказано, что такие проверки входят в национальную систему подтверждения IT-компетенций, а на Госуслугах по ним можно получить электронный сертификат. Чем выше институциональный вес результата, тем страннее опираться на формат, где знание теории можно незаметно вынести к внешнему помощнику за несколько секунд.

Проверять нужно не запрет на Alt+Tab

Для кандидатов вывод двойственный. Добросовестному специалисту сертификат может быть удобным дополнительным сигналом, особенно при первом поиске работы, но сам по себе он не доказывает практический уровень. Для разработчиков тесты hh.ru с ИИ становятся ещё одним напоминанием: заученные вопросы, определения и типовые задачи давно не измеряют способность проектировать систему, разбирать инциденты или поддерживать чужой код. Модель хорошо чувствует себя именно там, где есть короткий вопрос, несколько вариантов и распространённый учебный ответ.

Для HR и технических руководителей это аргумент не отменять тестирование, а изменить его роль. Теоретический квиз уместен как быстрый фильтр или навигация для кандидата, но рискован как самостоятельное доказательство компетенции. Более устойчивую картину дают разбор реального кейса, короткая парная сессия, обсуждение архитектурных решений, анализ фрагмента кода и вопросы о компромиссах. В этих форматах можно пользоваться ИИ открыто — и оценивать уже не способность скрыть помощника, а умение проверить его ответ и принять ответственность за решение.

Эксперимент не доказывает, что любой тест HeadHunter бесполезен и что каждая высокая оценка получена с помощью модели. Он показывает другое: доступные локальные LLM снизили стоимость обхода дистанционного теоретического экзамена до уровня, на котором одной защиты от переключения вкладок недостаточно. Следующий логичный вопрос для платформ и работодателей звучит не «как запретить кандидату открыть другое окно», а «какие навыки вообще должен подтверждать цифровой сертификат в эпоху, когда ИИ всегда рядом».

Поделиться: Telegram X LinkedIn