GitHub обнаружил, что при замене внутренних инструментов Copilot на более современные средства количество обнаруженных ошибок уменьшилось, а стоимость проверок выросла. Однако, после пересмотра инструкций, эффективность улучшилась: средняя стоимость проверок снизилась на 20%, оставаясь при этом на прежнем уровне качества.
Проблемы с новыми инструментами
Copilot использует инструменты для проверки кода, однако при попытке интегрировать общие инструменты системы CLI, эффективность работы снизилась. Ранее Copilot пользовался собственными инструментами, адаптированными для конкретных задач, которые обеспечивали лучшую точность при проверках, чем новые общие средства.
Аналитики, изучавшие работу новых инструментов, отметили, что они не справлялись с задачами так эффективно, как оригинальные. Как результат, Copilot использовал больше ресурсов, генерируя меньше полезных комментариев.
Возвращение к старым методам
Решение переработать инструкции для улучшения обработки запросов привело к значительным улучшениям. Отказавшись от общих инструментов и вернувшись к ранее стабильным, GitHub удалось снизить общую стоимость и одновременно сохранить качество работы. В ходе экспериментов было выявлено, что оператору необходимо адаптировать рабочий процесс к особенностям текущих инструментов.
Что это значит для разработчиков
Для разработчиков в России значительное снижение стоимости проверок кода на 20% означает возможность улучшения финальных продуктов без дополнительных затрат. Пользователи GitHub Copilot могут рассчитывать на более быстрое реагирование и меньшие временные затраты в процессе ревью кода, что актуально для команд, ориентированных на быструю разработку.
В дальнейшем GitHub продолжит адаптацию своих инструментов, что поможет сохранить конкурентные преимущества на рынке разработки. В ближайшие месяцы ожидаются новые улучшения, направленные на автоматизацию и повышение качества кода.