Согласно исследованию Waydev, реальная продуктивность разработчиков, использующих AI-инструменты, оказывается значительно ниже, чем заявляется. При высокой степени принятия AI-сгенерированного кода (до 90%) его фактическое качество приводит к возвратам и доработкам более чем у 70% кода.
Проблемы метрики и использование AI
На протяжении последних десятилетий разработчики просили своих руководителей находить правильные метрики продуктивности. Ранее основным показателем служили строки кода, сейчас за счет внедрения AI-инструментов, таких как Claude Code и Codex, производительность программистов стала ненадежным барометром. Эти инструменты позволяют писать код быстрее, однако увеличивают объем необходимых правок в будущем.
По словам Александра Цирцея, CEO Waydev, менеджеры видят, что в среднем 80-90% кода, созэтого с помощью AI, принимаются, но это не учитывает последующие переработки, которые снижают реальную продуктивность до 10-30%. Ситуация подчеркивает несоответствие между созданием кода и его фактической ценностью для проектов.
Соотношение с конкурентами и изменение платформы
На фоне роста важности аналитики, таких компаний, как Atlassian и DX, которые недавно купили за $1 миллиард, организации начинают понимать важность анализа их AI-возвратов. Waydev, основанный в 2017 году, отреагировал на выбор новых инструментов, обновив свою платформу для учета метаданных, создаваемых AI.
Изучая взаимодействие с клиентами, Faros AI подтвердила, что регулярные пользователи AI-технологий сталкиваются с более чем девятикратным увеличением переработки кода по сравнению со своими не-AI коллегами, что указывает на проблемы в процессах и необходимость адаптации методологий работы.
Выводы для разработчиков и организаций
Для российских разработчиков это означает, что необходимо пересмотреть подход к внедрению AI-технологий, учитывая, что скачок в продуктивности не всегда ведет к реальным результатам. Важно обращать внимание на качество и использование этих инструментов, чтобы избежать увеличение объема возвратов кода.
Следующим шагом будет развитие доводов в пользу измерения эффективности AI-систем и поиска оптимальных решений для организации рабочего процесса разработчиков.