Исследователи из Университета Иллинойс и Стэнфордского университета представили RecursiveMAS, фреймворк, который ускоряет многопользовательский вывод на 240% и снижает потребление токенов на 75%. Эта разработка может значительно повысить эффективность и снижает затраты для разработчиков AI-систем.
Проблемы многопользовательских AI-систем
Современные многопользовательские AI-системы сталкиваются с проблемами, связанными с задержками и высоким расходом токенов из-за текстовых взаимодействий между агентами. При этом, чем больше количество агентов, тем сложнее обучать систему как единое целое, что затрудняет её адаптацию к новым задачам. Механизм адаптации на основе запросов позволяет улучшить взаимодействие агентов, однако стандартные текстовые методы остаются узким местом.RecursiveMAS меняет подход, позволяя агентам взаимодействовать через латентные представления, а не текстовые последовательности, что значительно повышает общую производительность.
Как работает RecursiveMAS
Система RecursiveMAS функционирует как единой целое, а не как набор отдельных агентов. Она использует концепцию рекурсивных языковых моделей, позволяя агентам передавать латентные представления друг другу вместо генерации текстов. Таким образом, обработка данных происходит быстрее и более эффективно, без необходимости задержки для генерации текстовых ответов. Это, в свою очередь, сокращает токенозатраты и ускоряет процесс вывода.Когда последний агент завершает свою обработку, его результаты направляются обратно к первому агенту, что запускает новый раунд взаимодействия, созидая эффективный поток информации. RecursiveMAS значительно дешевле для обучения, чем традиционные методы полной донастройки и LoRA, что делает его выгодным решением для компаний, разрабатывающих индивидуальные многопользовательские системы.