Компании, освоившие AI-агентов, сталкиваются с серьезной проблемой надежности. Они обнаруживают, что производительность моделей на базе больших языковых моделей (LLM) недостаточна для успешной работы в производственной среде.
Контекст: требования к AI в бизнесе
Современные AI-агенты должны справляться с сбоями, поддерживать состояние, восстанавливать работу после неудач и обеспечивать координацию между различными API, инструментами и корпоративными системами. По словам Прити Сомал, старшего вице-президента по инженерии в Temporal Technologies, компании начали пересматривать свои ранние реализации AI-агентов и переработать архитектуры для достижения лучшей оркестрации рабочих процессов, доступности и восстановления.
“У нас много клиентов, которые проходят путь к созданию версии 2.0 тех же агентов”, — добавила Сомал. “Они спешили и не позаботились о надежной основе, что приводит к сбоям и необходимости пересмотра моделей”.
Ключевые этапы: от тестирования к внедрению
Существующие агенты используют сложные многоступенчатые процессы, которые требуют управления состоянием и памятью. Например, агентов часто используют для обработки медицинских визитов, которые включают несколько этапов, таких как обработка звука, суммирование, вызовы модели и генерация отчётов после визита. Эти задачи требуют надежных механизмов для восстановления после сбоев.
Сомал отмечает, что многие инженеры не учитывают, что может произойти, если агент перестанет работать, что может привести к увеличению затрат на использование — бесконечные перезапуски рабочих процессов могут заметно увеличить задержки и создать негативный опыт для пользователей.
Практические выводы для бизнеса
Для российских компаний, работающих с AI, значимость надежности в работе агентов становится очевидной. Ожидается, что более 60% новых AI-систем будут требовать серьезных изменении в их архитектуре для обеспечения долговечности и стабильной работы. Модернизация таких систем не только увеличивает эффективность, но и может сэкономить средства за счёт снижения инцидентов.
Следующий шаг — отслеживание изменений в AI-архитектурах и развитие надежных инструментов для работы с долгосрочными процессами, которые будут актуальны для бизнеса в 2024 году.