Первый эксперимент METR показал, что опытные разработчики с ИИ выполняли реальные задачи на 19% медленнее, хотя сами считали, что ускорились примерно на 20%. Во втором раунде исследование столкнулось с более любопытной проблемой: участники стали отказываться от задач, где нельзя использовать ИИ в разработке. Для российских команд это не академическая странность, а сигнал: привычка к ассистентам уже меняет и рабочие процессы, и способы измерять эффективность инженеров.
Об этом сообщает Habr / Карьера со ссылкой на материалы исследовательской организации METR. В первом раунде, который проходил с февраля по июнь 2025 года, участвовали 16 опытных контрибьюторов крупных open-source-проектов. Они принесли 246 задач из собственных бэклогов: исправление багов, новые функции и рефакторинг. Средний репозиторий имел более 22 тысяч звёзд и свыше миллиона строк кода — то есть речь шла не об учебных упражнениях, где модель может эффектно собрать очередной список дел.
Для каждой задачи случайным образом определяли режим работы: с ИИ или без него. Участники в основном использовали Cursor Pro с Claude 3.5 и Claude 3.7 Sonnet, получали по 150 долларов в час, записывали экран и самостоятельно фиксировали затраченное время. До начала работы они ожидали ускорения на 24%, после завершения оценили его в 20%. Однако измерение дало обратный результат: задачи с ИИ заняли в среднем на 19% больше времени.
Такое расхождение выглядит знакомо любому, кто наблюдал за генеративным кодом в реальной репозитории. Ассистент способен за минуту выдать несколько сотен строк, и этот момент отлично запоминается. Гораздо хуже в памяти удерживаются проверка предположений модели, уточнение контекста, чтение диффа, починка тестов и поиск одной неверной детали в почти правдоподобном ответе. METR рассмотрел около двадцати возможных объяснений и выделил пять вероятных, не назначая одну причину главной. Среди очевидных факторов — глубокое знание участниками собственных проектов: разработчик уже помнит, где искать проблему, а модели контекст приходится заново объяснять для каждой задачи.
Контрольная группа больше не хочет жить без ассистента
Повторный эксперимент стартовал в августе 2025 года и был заметно крупнее: 57 разработчиков, 143 репозитория и более 800 задач. Медианный стаж участников составлял около десяти лет; среди них были десять разработчиков из первой волны и 47 новых. Но прежняя схема с жеребьёвкой дала сбой. METR отмечает, что набирать и удерживать людей стало существенно сложнее: приглашённые не хотели выполнять часть работы без ИИ. Оплата во втором раунде снизилась до 50 долларов в час, и исследователи признают её одним из возможных источников перекоса, хотя не главным.
Оставшиеся участники нашли менее прямой способ повлиять на эксперимент: не передавали на жеребьёвку задачи, которые не хотели бы делать вручную. По опросам METR, так поступали от 30% до 50% разработчиков. Причём из выборки, вероятно, выпадали именно задачи с наибольшим потенциальным выигрышем от ассистентов. Один из участников вообще не выполнил ни одной задачи в режиме без ИИ. В итоге контрольная группа перестала быть обычной контрольной группой: в ней оставались люди и задачи, для которых ИИ-помощник наименее важен.
Цифры второго раунда поэтому стоит читать особенно осторожно. У вернувшихся участников METR зафиксировал ускорение примерно на 18%, у новых — около 4%. Но доверительные интервалы слишком широки: у ветеранов они простираются от ускорения на 38% до замедления на 9%, у новых участников — от ускорения на 15% до замедления на 9%. Авторы называют это слабым свидетельством ускорения и предполагают, что наблюдаемый эффект может быть нижней границей: самые подходящие для ИИ в разработке задачи часто не попадали в случайное распределение.
Проблема уже не только в моделях, но и в измерениях
Параллельно меняется сам объект измерения. Разработчик может запустить два-три агента в отдельных окнах, пока они выполняют команды или гоняют тесты, переключиться на другую задачу, а вечером попытаться восстановить, сколько времени ушло на конкретный эксперимент. METR прямо признаёт, что при такой работе самоотчёт по времени становится ненадёжным. Сравнение усложняет и разное качество результата: одинаковая длительность задачи не гарантирует одинаковые тесты, документацию или объём последующей поддержки.
Опросы не дают более твёрдой опоры. В исследовании Stack Overflow за 2025 год, охватившем более 49 тысяч респондентов, 84% сообщили, что уже используют ИИ-инструменты или планируют начать. При этом точности ответов ИИ доверяет примерно треть опрошенных, а доля тех, кто открыто не доверяет, выросла с 31% годом ранее до 46%. Самая частая претензия — решения, которые выглядят почти правильными, но требуют ручной доводки; 45% участников также пожаловались, что отладка сгенерированного кода отнимает больше времени.
Компании не ждут идеального эксперимента и начинают смотреть на более доступные показатели — расходы на инструменты и объём потреблённых токенов. Но счёт от провайдера показывает интенсивность использования, а не ценность выпущенного кода. Следующий практический вопрос для IT-директоров и руководителей разработки звучит не «ускоряет ли ИИ каждого инженера на N процентов», а «какие типы задач, команды и этапы поставки он действительно улучшает без роста стоимости проверки». Судя по истории METR, найти честный ответ теперь труднее именно потому, что работа без ассистента для многих разработчиков перестала быть нормальным состоянием.