Пять платформ для AI-агентов получили от 26,7% до 73,3% в одном тесте на обучение по прошлому опыту. Бенчмарк FrontierMemory проверяет не способность найти в старом чате дату или имя, а то, помогает ли память AI-агентов решить новую рабочую задачу. Для команд, которые уже пытаются поручить агентам код, поддержку или внутренние операции, это неприятно полезный результат: выбор обвязки вокруг модели может влиять на итог не меньше, чем сама модель.
О результатах теста сообщает The New Stack. В сравнении пяти агентных harness-систем первое место заняла Letta Dream с 73,3%, затем Prime Agent с 60%. OpenAI Agents SDK получил 40%, Claude Managed Agents — 33,3%, Hermes Agent — 26,7%. Между первой и последней системами — 46,6 процентного пункта. При этом речь не о тесте на эрудицию модели, а о том, насколько система умеет извлечь из прошлых рабочих сессий применимые инструкции и использовать их в следующей задаче.
FrontierMemory разработала Letta — компания, чей продукт одновременно участвует в рейтинге. Этот конфликт интересов не отменяет сам эксперимент, но задаёт правильную рамку для чтения таблицы: это не независимый отраслевой стандарт и не повод немедленно менять стек. Тем более в версии 1.0 всего 15 задач: одна дополнительная успешно решённая задача заметно двигает процент. Однако методика указывает на реальную проблему рынка — «долгая память» агента давно перестала быть простой историей про векторную базу и поиск по заметкам.
Вместо готового набора фактов агентам выдали 665 траекторий предыдущей работы — журналы удачных и неудачных попыток. Лишь 219 из них были связаны с последующими заданиями. Система должна была самостоятельно выделить полезный опыт, оформить его как память или навык, а затем применить в задачах по программированию и работе со знаниями. Во время генерации памяти и выполнения заданий запрещались веб-поиск и поиск готовых решений онлайн; на формирование памяти отводилось до шести часов.
Тест разделяет три типа сведений. Первая категория — правила самой задачи: например, договорённость о том, какие файлы исключать из пайплайна. Вторая — предпочтения пользователя, такие как формат changelog или порядок данных в отчёте. Третья — знание окружения: где лежит конфигурация, какие ограничения действуют в репозитории, какие инструменты уже доступны. В реальном проекте именно такие детали обычно и делают разницу между агентом, который каждый раз начинает с чистого листа, и помощником, которого можно включить в повторяющийся процесс.
Важная деталь FrontierMemory: в Letta не стали безоговорочно доверять исходным проверкам задач. По данным разработчиков, у 53% отобранных исходных заданий обнаружились дефекты в верификаторах — они могли требовать неоговорённое действие, отвергать корректный результат из-за формата или проверять не то, что сформулировано в условии. Такие случаи исправляли перед включением в набор. Это хороший симптом для индустрии: агентные бенчмарки всё чаще ломаются не только на модели, но и на собственном способе измерения.
Отдельный рейтинг моделей показывает похожую, хотя и не идентичную картину. Claude Opus 5.5 и GLM-5.3 получили по 73,3% при создании памяти, Kimi K3 — 66,7%, GPT-6.1 Sol и Gemini 4 Argon — по 60%. По оценке Letta, GPT-6.1 Sol оказался самым дешёвым среди приведённых вариантов — около $0,77 на задачу против $2,80 у Opus 5.5. Но эти цифры нельзя читать как универсальный прайс-лист: они зависят от набора из 15 задач, выбранных конфигураций и максимального уровня рассуждений, а не описывают все сценарии внедрения.
Практический вывод для разработчиков — не измерять память AI-агентов только качеством поиска по прошлым сообщениям. Агент может извлечь правильную заметку, но не понять, что она относится к текущей задаче, не загрузить нужный навык или превратить частный случай в вредное общее правило. По наблюдениям авторов бенчмарка, лучше срабатывают инструкции, где явно сказано, когда их применять. Сводка вида «в проекте есть особенность X» полезна человеку; для агента гораздо надёжнее запись «если в запросе встречается X, сначала проверь Y».
Для продактов и IT-директоров вывод ещё прозаичнее. Нельзя покупать «память» как одну галочку в списке возможностей агента. Нужно проверять весь контур: как система отбирает прошлый опыт, кто и как редактирует сохранённые правила, можно ли объяснить их происхождение, как они изолируются между пользователями и что происходит после ошибочного решения. Особенно это важно там, где агент получает доступ к кодовой базе, тикетам, CRM или внутренним документам: плохая память не просто забывает полезное, она умеет закреплять неверную практику.
Следующий спор на рынке AI-агентов, похоже, будет не о длине контекстного окна, а о том, как доказать, что накопленный опыт действительно улучшает работу и не делает её менее предсказуемой. FrontierMemory предлагает одну из первых проверок такого рода, но вместе с ней оставляет главный вопрос: выдержат ли лидеры таблицы независимый набор задач, реальные корпоративные данные и длительные циклы работы. Методика и результаты доступны на странице .
