Переход QA в AI всё чаще выглядит не как прыжок в неизвестность, а как последовательность из трёх ролей: AI QA Engineer, ML Evaluation Engineer и ML Engineer. Senior ML Engineer Лилия Урмазова собрала 10 преимущественно бесплатных ресурсов, по которым сама выстраивала маршрут от ручного тестирования до разработки моделей; об этом сообщает Habr / Карьера.
Главная мысль списка неприятна лишь для тех, кто надеется обойтись одним курсом: готовой «волшебной программы» для смены специализации нет. Придётся читать первоисточники на английском, писать код и регулярно обновлять знания. Зато у тестировщиков уже есть сильная база — привычка работать с неопределённостью, искать граничные случаи, строить проверки и доказывать, почему результат системы нельзя считать приемлемым.
Урмазова разделяет три близкие, но не взаимозаменяемые роли. Обычный QA с AI-инструментами применяет генеративные модели для тестирования привычного детерминированного ПО. AI QA Engineer проверяет AI-функции внутри обычных продуктов — например, ассистента в корпоративном сервисе. ML Evaluation Engineer оценивает системы, где модель и есть ключевая функциональность: LLM-приложения, RAG-сервисы и агентов с вызовами инструментов.
Для первого уровня автор предлагает начать с курса по генеративному AI в тестировании ПО. Он рассчитан скорее на практикующего тестировщика, которому нужно быстрее включить AI-инструменты в текущую работу, чем сменить профессию. Дальше начинается переход QA в AI в более строгом смысле: проверять ответы модели, искать галлюцинации, измерять качество извлечения данных и воспроизводить сбои нельзя только ручными сценариями.
Ключевым техническим навыком автор называет Python. Java и другие языки не становятся бесполезными, но именно Python остаётся рабочим языком экосистемы моделей, статистики и трансформеров. Вместо отдельного вводного курса по синтаксису Урмазова советует взять сложный пет-проект и писать его с AI-ассистентом в режиме обучения: не копировать сгенерированные фрагменты, а разбирать, почему они работают или ломаются. Для QA это полезная дисциплина: модель помогает ускориться, но не снимает ответственности за логику и тесты.
На уровне AI QA Engineer в подборку входят вводное руководство по оценке LLM, русскоязычный курс по тестированию AI-приложений и материалы Anthropic Academy по Claude, Claude Code, подагентам, возможностям и ограничениям AI. Отдельно выделен курс по работе с Claude API. Его ценность не в привязке к одному поставщику модели, а в практике: тестировщику приходится самостоятельно собирать небольшие AI-приложения, отправлять запросы через API, фиксировать ответы и строить проверки. Эти навыки переносятся и на другие модельные API.
Следующая ступень — ML Evaluation Engineer. Здесь тестирование перестаёт быть полностью «чёрным ящиком»: специалист работает с метриками, наборами проверок, трассировкой вызовов и оценкой поведения системы на уровне компонентов. В качестве базы автор рекомендует книгу Чипа Хьюена «AI-инженерия. Построение приложений с использованием базовых моделей», а для практики — курсы по оценке AI-агентов и продвинутому RAG. В примерах используются Phoenix и TruEra, при этом в реальных командах могут встречаться Langfuse, Ragas или DeepEval. Названия инструментов меняются быстрее, чем принципы: нужны наблюдаемость, воспроизводимые тестовые наборы и понятные критерии качества.
Для бизнеса это важное уточнение. Внедрить чат-бота или поиск с RAG уже недостаточно: продукту нужны метрики качества, контроль деградаций после изменения модели и сценарии, в которых система обязана честно признать неопределённость. Тестировщик, освоивший оценку LLM, становится не «QA, которому дали доступ к чату», а участником разработки качества AI-продукта. Это особенно актуально для команд, где модели уже дошли до пользователей, а количество инцидентов перестало помещаться в ручную проверку перед релизом.
Финальная точка маршрута — ML Engineer, причём автор разделяет классический ML для табличных данных, рекомендательных систем и традиционного NLP с AI/GenAI-направлением, где важны LLM, RAG и дообучение базовых моделей. Для укрепления базы в подборку вошли ускоренный курс Google по машинному обучению, курс по созданию LLM с нуля и книга Чипа Хьюена о проектировании ML-систем. Переход QA в AI не отменяет фундаментальных знаний: чем лучше инженер понимает устройство модели и её жизненный цикл, тем точнее он способен оценить её ограничения.
Самый реалистичный вывод из этого маршрута: рынок AI не ждёт универсальных новичков, зато ценит специалистов, которые умеют превращать расплывчатое «модель вроде отвечает» в измеримое качество. Для QA это шанс использовать прежний опыт как стартовую площадку, а не обнулять карьеру. Вопрос теперь не в том, заменит ли AI тестировщиков, а в том, сколько команд успеют выстроить проверку AI-систем раньше, чем ошибки этих систем станут проблемой для клиентов.
