Офлайн RAG пайплайн для мобильной разработки
Разработан новый офлайн-пайплайн RAG (поиск с увеличением извлечения) для мобильной разработки, который обеспечивает поиск менее чем за 200 миллисекунд. Этот проект существенно повышает эффективность мобильных приложений, позволяя делать офлайн-запросы без зависимости от сетевых подключений.
Технические детали и преимущества
Технология включает использование SQLite для хранения векторных индексов и ONNX Runtime для генерации внедрений. Пайплайн совместим с Android и iOS благодаря Kotlin Multiplatform и весит менее 50 МБ, что делает его удобным для мобильных устройств.
Архитектура состоит из трёх ключевых этапов: генерация внедрений, поиск по ссылкам и составление контекста. В тестах на Google Pixel 7a пайплайн демонстрировал время отклика около 140 мс при p95, что позволяет быстро обрабатывать запросы пользователей.
Установка и интеграция компонентов проста: разработчики используют библиотеку sqlite-vss для работы с данными и минимизируют нагрузку за счёт оптимизации кода. Использование Kotlin Multiplatform позволяет выделить общую логику для всех платформ, что упрощает сопровождение проекта.
Что это значит для разработчиков? Теперь они могут создавать мобильные приложения с мощными инструментами поиска без необходимости использовать облачные сервисы. Эта технология потенциально увеличивает конкурентоспособность на рынке.
Следующим шагом разработчики планируют оптимизацию модели внедрений, что должно дополнительно повысить скорость обработки запросов.