Исследователи Stanford создали новый AI-агент, объединив разработки ACE и Reflective Language Model (RLM) для улучшения анализа кода. Этот подход повысил точность анализа на 100%, что может значительно помочь разработчикам, работающим с большими объемами данных.
Как работают ACE и RLM?
ACE использует обратную связь от выполнения через рефлектора (модель языка в роли судьи) и менеджера навыков для сбора стратегии. В то же время, методика RLM позволяет агенту писать и выполнять код в песочнице, исследуя данные без полной загрузки входных данных. Однако ACE имел ограничения: его рефлектор мог анализировать трассировки выполнения лишь за один проход, что не позволяло выявить ключевые закономерности при увеличении количества данных.
Новая версия агента и её результаты
В обновлённой версии агента используется рекурсивный рефлектор, применяющий паттерн RLM для анализа трассировок ACE. Вместо прямого считывания трассировок, агент получает метаданные, которые загружаются в пространство REPL. Затем он программно запрашивает и исследует трассировки, обнаруживая паттерны, не видимые при одном проходе. Результаты бенчмарка (τ2-bench, Sierra Research) показывают рост точности с 41.2% до 52.5%, что означает увеличение на 27.4%.
Польза для разработчиков
Для команд разработки это открывает новые возможности в анализе кода и отладке. AI-агенты могут находить закономерности в больших объёмах данных, что упрощает работу над крупными проектами. Разработчикам, задействованным в машинном обучении и анализе данных, стоит обратить внимание на эти технологии для оптимизации процессов. Следующий шаг для исследователей — улучшение алгоритмов и открытие кода на GitHub для интеграции.
