Кодовый агент DeepSeek теряет очки в крупном бенчмарке не из-за неработающего исправления, а из-за стремления привести рабочее окружение в порядок. Для разработчиков это неприятное напоминание: оценка AI-агентов может измерять не только качество патча, но и то, насколько буквально модель соблюдает скрытые правила тестового стенда.
О проблеме сообщает The New Stack: open-source агент DeepSeek получает штраф за действия, которые в обычной инженерной практике выглядели бы вполне разумно. Вместо того чтобы оставить после себя временные файлы, артефакты или изменённое состояние окружения, агент выполняет уборку. Однако бенчмарк ожидает конкретный след от работы и интерпретирует такую аккуратность как неуспех.
Сама коллизия важнее одной позиции в рейтинге. Бенчмарки для кодовых агентов пытаются проверить полный цикл: понять задачу, изучить репозиторий, внести изменения, запустить проверки и завершить работу. Но результат зависит не только от финального кода. Если сценарий проверки чувствителен к структуре файлов, состоянию контейнера или последовательности команд, агент может проиграть при технически корректном решении.
Для DeepSeek ситуация особенно показательна, поскольку речь идёт об open-source кодовом агенте. Такие проекты удобно запускать в собственном контуре, дообучать и разбирать на уровне отдельных шагов. Но открытость не избавляет от старой проблемы оценки: хороший показатель в бенчмарке ещё не гарантирует, что инструмент удобнее и надёжнее в реальной разработке, а низкий показатель не всегда означает слабое решение задачи.
Разработчик в подобной ситуации обычно скажет, что очистка временных данных — нормальная дисциплина. Она уменьшает число случайных зависимостей, помогает воспроизводить сборку и не засоряет рабочую среду. Автоматизированный тест, напротив, может быть написан так, будто единственно верный путь — оставить окружение в заранее ожидаемом состоянии. AI-агент оказывается между двумя логиками: инженерной гигиеной и механикой конкретного оценочного набора.
Это создаёт стимул оптимизировать модели под тест, а не под задачу пользователя. Агенту можно научиться не убирать файлы, повторять шаблон действий или обходить особенности проверяющего скрипта — и поднять метрику без заметного улучшения качества разработки. Для команд, выбирающих помощника для работы с кодом, такая разница практична: красивый процент в таблице стоит проверять на собственных репозиториях, CI и правилах работы с секретами, миграциями и тестовыми данными.
Кодовый агент DeepSeek в этом эпизоде скорее высветил слабое место самих бенчмарков. Им нужны сценарии, которые отделяют корректность патча от случайных побочных эффектов исполнения, а также явно фиксируют требования к очистке окружения. Иначе рейтинг будет поощрять агентов, умеющих угадывать привычки тестового harness, а не тех, кому можно доверить реальную инженерную рутину.
Главный вопрос теперь не в том, должен ли агент быть менее аккуратным. Важнее, смогут ли создатели тестов показать, какие именно свойства они измеряют: качество исправления, способность следовать инструкциям или умение не задеть хрупкий стенд. Пока эти вещи смешаны в одном балле, сравнение AI-инструментов для программирования остаётся полезным ориентиром, но не окончательным вердиктом.
