AI-агенты показывают падение точности на 70% при переходе от учебных баз данных к реальным корпоративным хранилищам. Это важно, так как подобные ошибки могут привести к неверным бизнес-решениям и финансовым потерям.
Технические сложности в работе с AI-агентами
В ходе тестов, проведенных на разных моделях AI, выяснилось, что агенты демонстрируют 21,3% точности в задаче генерации SQL-запросов на основе естественного языка, когда они работают с корпоративными данными. Для сравнения, на открытых учебных данных этот показатель достигал 91%. Это большая разница, и она подчеркивает сложность перехода к использованию AI в реальных сценариях.
Основная трудность заключается в том, что в корпоративных хранилищах часто отсутствует строгая формализация и структура данных. Условия, такие как метрики и кардинальность связей между таблицами, не всегда чётко определены. Это приводит к тому, что AI не может точно интерпретировать запросы и выдает несколько вариантов ответа, что может сбивать с толку пользователей.
Данные по бенчмаркам из реальных кейсов
Например, на основании данных из исследования бенчмарк Spider 2.0, где было собрано 632 задачи из реальных бизнес-сценариев, точность AI-агентов сконструированных на открытых данных значительно выше. В отличие от 21,3% результатов, на старой версии бенчмарка Spider 1.0 этот показатель составлял 91,2%. Любой бизнес, который планирует использовать AI для обработки корпоративных данных, должен быть готов к этим вызовам.
Также стоит отметить бенчмарк BEAVER, который использовал запросы из логов настоящих корпоративных систем. Изучая 9 128 пар «вопрос — SQL», исследователи нашли, что в среднем запрос затрагивает 4 таблицы и содержит множество соединений и вложенных запросов. Это усложняет процесс и уменьшает точность ответов AI.
Последствия для бизнеса и аналитиков
Для компаний, использующих AI-агентов, это сигнал о необходимости учитывать огромный объем данных и специфичность их бизнес-процессов. Без ясной формализации и четкого определения метрик, подобные технологии могут стать причиной серьезных ошибок и неверных бизнес-решений.
Компаниям следует пересмотреть свои подходы к обучению AI и рассмотреть возможность создания гибридных систем, которые будут сочетать AI с опытными аналитиками, чтобы добиться более высоких результатов при работе с корпоративными данными.
Следующий шаг — обучение AI на закрытых данных и пересмотр текущих стратегий обработки информации в корпоративных системах. Это поможет повысить качество и точность ответов, которые предоставляют AI-агенты.