Новое исследование команды ETH Zurich сигнализирует о том, что AGENTS.md файлы могут не только не улучшать, но и ухудшать работу AI-агентов. В ходе тестирования было выявлено, что использование файлов, сгенерированных языковыми моделями, снижает уровень успеха выполнения задач на 3% по сравнению с отсутствием контекста.
Как тестировались AI-агенты
Исследование охватывало 138 реальных задач программирования на Python, взятых из менее популярных репозиториев, чтобы избежать предвзятости. Команда протестировала четыре AI-агента: Claude 3.5, Codex GPT-5.2, GPT-5.1 mini и Qwen Code. Каждый агент был проверен в трех условиях: без контекстного файла, с файлом, созэтим LLM, и с файлом, написанным человеком. Оказалось, что LLM-сгенерированные файлы увеличивают количество шагов, необходимых для завершения задач, что приводит к росту затрат на обработку на 20%. Наоборот, файлы, созэти людьми, обеспечивают лишь незначительное улучшение, увеличивая уровень успеха на 4%, но также приводят к росту числа шагов на 19%.Анализ показал, почему AGENTS.md могут быть вредными
Анализ показал, что агенты следуют инструкциям из AGENTS.md файлов, что вынуждает их выполнять больше тестов и обходов, что не всегда необходимо для решения конкретной задачи. Этот результат подчеркивает разрыв между текущими рекомендациями для разработчиков и научными данными.Что это значит для разработчиков
Для разработчиков в России и СНГ это исследование служит напоминанием о том, что использование AGENTS.md файлов не гарантирует успех при работе с AI-агентами и может не только не помочь, но и навредить. При создании AI-приложений стоит ориентироваться на более качественные и точно сформулированные инструкции, исключая лишние контекстные данные.В дальнейшем важно продолжать исследовать, как именно AI-агенты взаимодействуют с различными типами контекста, чтобы повышать их эффективность в реальных задачах.
