Команда исследователей из Mind Lab и нескольких университетов предложила новый метод delta-mem, который позволяет AI-агентам эффективно запоминать и использовать информацию с добавлением лишь 0,12% параметров модели. Это важно, потому что традиционные методы, такие как расширение контекстного окна или использование механизмов поиска (RAG), налагают высокие затраты и не всегда надежны.
Проблема с запоминанием
AI-агенты часто теряют нить взаимодействия, что приводит к увеличению временных затрат и расходов на токены. Текущие подходы к управлению памятью не способны эффективно обеспечить долгосрочную работу, особенно в сложных сценариях, где требуется многократное взаимодействие агентов. Узкие места проявляются из-за высоких вычислительных затрат, связанных с использованием механизма внимания, что делает такие решения невыгодными.
Что предлагает delta-mem
По словам Джингди Лей, соавтора исследования, delta-mem закодирует памяти в компактном виде, фактически создавая «онлайн состояние ассоциативной памяти». Этот подход значительно снижает вычислительные затраты, что особенно важно для корпоративных сред, где необходима быстрая и эффективная обработка данных. Вместо того чтобы постоянно извлекать и загружать всю историю взаимодействий, новая матрица памяти позволяет легко сохранять состояние и направлять его в работу при выполнении задач.
Постоянные эксперименты показывают, что использование delta-mem позволяет AI-агентам, например, запоминать недавно выполненные шаги по отладке или предпочтения пользователя, что в итоге сокращает время на обработку необходимой информации.
Значение для разработки AI-приложений
Для разработчиков AI-приложений и стартапов появляется возможность оптимизации рабочих процессов и снижения издержек. Применение delta-mem может привести к уменьшению затрат на инфраструктуру до 30%, что особенно важно на фоне постоянного роста цен на вычислительные ресурсы. Интеграция данного алгоритма в текущие системы может стать решающим шагом к более эффективному использованию AI-технологий.
Следующим этапом исследований будет тестирование delta-mem в реальных сценариях применения в компаниях, чтобы оценить его влияние на производительность и скорость обработки данных.