Исследовательская команда из NYU, Колумбийского, Принстонского университетов и других учреждений разработала новую архитектуру, называемую Latent Context Language Models (LCLM), которая позволяет сократить входные данные для языковых моделей до 16 раз без ущерба для точности. Это важно, так как предыдущее накопление контекста в LLM становилось вычислительным瓶颈ом.
Проблема и решение в LLM
С увеличением длины контекста моделей возрастали требования к памяти и вычислительным ресурсам. Существующие решения часто ухудшали точность моделей или требовали полной загрузки контекста перед началом сжатия. LCLM предлагает новый подход — сжатие входного контекста до его обработки декодером. Исследования показывают, что LCLM при 16x сжатии обеспечивает 8,8-кратный прирост скорости по сравнению с традиционными методами.В новой архитектуре используется 0.6B энкодер и 4B декодер, которые обрабатывают блоки входных токенов, уменьшая их до латентных эмбеддингов. Модели были обучены на более чем 350 миллиардах токенов, включая три типа данных: предобучение, дообучение и вспомогательные задачи.
Результаты тестирования и эффективность
По данным исследования, при 4x сжатии LCLM демонстрирует точность 91,76% на бенчмарке RULER, что лишь на 3 пункта ниже, чем без сжатия. При 16x сжатии, когда теряется 93,75% входных токенов, точность снижается до 75,06%, но это все равно лучше, чем у всех обозначенных KV cache методов.Команда также продемонстрировала, как LCLM может обрабатывать более длинные контексты с минимальными затратами памяти и без ухудшения производительности. Это делает его пригодным для использования в реальных приложениях AI, где длинные контексты недоступны до недавнего времени.
Значение для разработчиков AI
Для разработчиков AI новый подход LCLM открывает возможности для более эффективной работы с контекстами, что особенно актуально для стартапов и корпоративных команд. Использование LCLM позволит значительно снизить издержки на ресурсы, оптимизировав производственные процессы, связанные с обработкой данных. Это значит, что команды теперь смогут справляться с задачами с теми же ресурсами, которые ранее использовались для меньших объемов данных.Следующий шаг — дальнейшая интеграция LCLM в существующие системы обработки данных и тестирование его на реальных приложениях, что поможет усовершенствовать текущие решения.