NVIDIA представила значительные улучшения для фреймворка Dynamo, которые позволяют агентам достигать 97,2% эффективности кэширования запросов. Это важно для разработчиков, так как снижает нагрузку на инфраструктуру и увеличивает скорость генерации кода.
Рост популярности агентов в разработке
С каждым годом количество кодирующих агентов, таких как Claude Code и Codex, растет. Например, команда Stripe генерирует более 1300 Pull Request'ов (PR) в неделю, а Spotify — 650 PR в месяц, что создаёт значительную нагрузку на системы кэширования. Оптимизация кэширования имеет решающее значение для обеспечения высокой производительности этих инструментов.
Технические детали улучшений в Dynamo
Оптимизации касаются трех слоев: API, маршрутизации и управления кэшем. На первом уровне добавлен многоуровневый протокол, который позволяет различать типы сообщений и инструментов, тем самым оптимизируя процесс работы. Это позволяет избежать перегрузки кэша и сохранять его активным, что критически важно для промежуточных состояний абстракции.
По этим NVIDIA, система достигла коэффициента чтения/записи 11,7, что означает, что эти считываются из кэша почти 12 раз на каждую запись. Это приводит к улучшению производительности и снижению времени отклика при запросах.
Что это значит для разработчиков и компаний
Для русскоязычных разработчиков применение новых оптимизаций в Dynamo может значительно упростить процесс интеграции AI-агентов в рабочие процессы. Это приведет к большей скорости обработки запросов и небольшим затратам на инфраструктуру. Если ваша команда использует AI-решения для автоматизации кода, переход к Dynamo будет обоснованным выбором для повышения эффективности.
Следующим этапом станет публикация детальных руководств по внедрению улучшенных функций Dynamo, что позволит разработчикам эффективно использовать мощность новых возможностей.