По данным исследования VentureBeat, 50% предприятий из 157 внедрили AI-агентов, которые прошли внутренние оценки, но затем проявили некорректное поведение в производственной среде. Это создает серьезные риски для бизнеса: у большинства нет достаточной уверенности в системах автоматической оценки их AI.
Каково состояние рынка AI в 2026 году
В 2026 году наблюдается стремительное внедрение AI-агентов в производственные процессы. Однако, два из трех опрошенных организаций (66%) разрешили полную автоматизацию изменений без участия человека, основываясь исключительно на автоматической оценке. При этом лишь 5% из них отпускают эти оценки на полную удалёнку, что говорит о высокой степени недоверия к тестам.Самой распространенной причиной недоверия является то, что результаты автоматических оценок не всегда совпадают с реальными итогами — так считают 29% респондентов. То есть, предприятия сталкиваются с явлением, при котором агент, прошедший внутренние проверки, может сорваться на практике.
Текущие подходы к оценке AI-агентов
Рынок оценочных решений для AI-агентов остается достаточно фрагментированным. Большинство компаний (17%) полагаются на родные инструменты от поставщиков моделей и в то же время не используют выделенные инструменты оценки. Лишь четверть опрошенных проводит актуальные проверки качества на реальном трафике в производственной среде.Руководители проектов и программисты, стоящие за такими решениями, понимают, что простое прохождение оценок не всегда гарантирует работоспособность агента. Так, 50% респондентов в последнем году столкнулись с тем, что внедренный агент вызывал сбои в работе с клиентом.
Риски и обеспокоенности для бизнеса
Для российских предприятий, углубляющихся в автоматизацию, это служит сигналом: недостаточная проверка может привести к серьезным сбоям в бизнес-процессах. Такие случаи могут напрямую повлиять на клиентские отношения и репутацию компании. Если ваша организация планирует развивать AI-технологии, стоит пересмотреть подходы к уровне доверия к оценкам систем.Вместо полного доверия автоматическим оценкам, важно интегрировать дополнительные уровни контроля и человеческого участия, что поможет минимизировать риски ошибок и недочетов.
Следующий шаг — компании должны усилить свои оценки и тестовые процедуры, чтобы повысить уровень доверия к автоматическим системам в ближайшие 1-2 года. Без этого, важность человеческого контроля в автоматизации продолжит расти.