Более 250 тестовых работ на 25 мест получила первая Школа аналитиков hh, запущенная в сентябре 2026 года. Отбор аналитиков hh строили с расчётом на то, что кандидаты будут использовать LLM: компания решила проверять не сам факт помощи нейросети, а способность человека заметить и исправить её ошибки.
Об устройстве отбора сообщает Habr / Карьера со ссылкой на Валю Борисова, тимлида аналитики Trust&Safety hh.ru и организатора процесса. Цель школы — дать студентам практический опыт и затем пригласить часть участников на стажировки в команды компании. Для hh это не первый образовательный набор: до школы аналитиков компания провела три Школы продактов и 16 Школ программистов. Через программистскую программу прошли более 375 человек, свыше 110 из них попали в технический департамент.
Организаторы сознательно не требовали конкретный стек. Участник мог решать задания в привычном инструменте: Python, SQL, R, Matlab или Excel. Но унификация инструментов не стала проблемой: более 85% кандидатов выбрали Python. Важнее для отбора было другое — умеет ли соискатель работать с данными, объяснять выводы и превращать расчёт в рекомендацию, а не просто получать гладкий текст от модели.
Тестирование состояло из двух частей: анализа набора вакансий с зарплатами и критического разбора поста о теории вероятностей и статистике. Каждая задача требовала посчитать показатели, найти ошибку в данных или рассуждении, интерпретировать результат и дать прикладную рекомендацию. Такой формат заметно сложнее стандартной задачи «напишите SQL-запрос»: кандидат должен показать ход мысли, а не только прислать код, который вполне мог собрать агент.
В датасет с 100 тысячами вакансий аналитиков намеренно добавили перевёрнутые зарплатные вилки, нереалистичные суммы и другие артефакты парсинга. Кандидатам предлагали сравнить среднее и медиану по уровням опыта, оценить асимметрию распределений, разброс и объяснить, какую зарплату можно назвать типичной. За ответ без проверки данных можно было получить убедительные таблицы и графики, но прийти к неверной рекомендации для условного соискателя.
Для таких случаев hh разделил ловушки на два типа. Штрафные влияли на оценку: например, если кандидат игнорировал грязные данные или советовал что-то без учёта условий задачи. Сигнальные баллов не отнимали, но отправляли работу на более внимательную ручную проверку и могли стать темой для интервью. В их числе были намеренно чрезмерно сложные вопросы и просьба прокомментировать решение. Идея проста: модель способна выдать правдоподобный ответ, но человеку нужно понимать, что именно в нём стоит проверить.
Полностью ручная оценка более 250 работ потребовала бы свыше 100 человеко-часов сотрудников, поэтому отбор аналитиков hh частично автоматизировали. Передовые ИИ-модели проверяли решения по подготовленным для машинного разбора критериям, а сотрудники выборочно контролировали результаты. Компания не стремилась выстроить кандидатов в идеальный рейтинг: достаточно было отделить тех, кто преодолел порог, от остальных.
Для рынка это практичный сигнал: запрет на LLM в тестовых всё хуже отражает реальную работу аналитика. В командах уже используют модели для черновиков кода, формулировок и первичного исследования данных. Но отбор аналитиков hh показывает границу, которая становится важнее умения написать хороший промпт: кандидат должен уметь валидировать вывод, видеть выбросы, задавать ограничения и отвечать за рекомендацию. Следующая волна тестовых заданий, вероятно, будет проверять именно этот навык — не «обошёлся ли без ИИ», а «сможет ли поймать ИИ на ошибке до того, как она попадёт в решение».