Система RAG (Retrieval-Augmented Generation) увеличила точность ответов с 62% до 94% благодаря пяти архитектурным изменениям. Эти модификации существенно улучшили качество поддержки пользователей в компании, использующей внутреннего помощника для обработки вопросов об управлении и процессах.
Что изменилось в системе
С момента запуска помощника более 4200 документов хранилось в разных ресурсах, таких как Confluence и Google Drive. Изначально система демонстрировала хорошую производительность во время тестирования, но во время реальной эксплуатации столкнулась с проблемами в обработке запросов пользователей. Первые недочёты стали заметны, когда один из вице-президентов получил неверный ответ на важный вопрос по внутреннему процессу — система не учла противоречивую информацию из нескольких документов.
Ключевые изменения и их результаты
Первое и самое значительное изменение — переход к семантическому делению документов. Это означает, что теперь разбиение происходит по естественным темам, а не фиксированным размерам, что позволяет лучше сохранять логическую структуру текста. В частности, новая система разбивает текст на основе схожести предложений, увеличивая связанность фрагментов. Это изменение особенно важно для работы с юридическими и контрактными документами.
В дополнительных изменениях была оптимизирована выборка документов при ответах на запросы. Обновлённая архитектура позволила достичь большей точности в 94%, что критично для поддержки клиентов.
Что это значит для разработчиков
Для российских разработчиков, работающих с аналогичными системами, это — отличным примером того, как грамотное управление архитектурой влияет на точность и пользовательский опыт. Улучшив обработку этих и семантическую связь, можно значительно повысить качество ответов и минимизировать ошибки. Владельцам AI-систем стоит учесть этот опыт при следующей итерации своих решений.
Следующий шаг для команды — продолжение работы над улучшением системы RAG, в том числе настройка её на более сложные запросы и условия эксплуатации. Улучшение архитектуры может помочь сократить время на ответ и повысить удовлетворённость пользователей.