Исследование показало, что предприятия, полагающиеся на несколько ИИ-моделей, недооценивают вероятность сбоев в их работе на 2,25 раза. Это серьёзный звоночек для бизнеса, который инвестирует в сложную ИИ-инфраструктуру, надеясь на повышение эффективности.
О чем говорит новое исследование
В исследовании, охватившем 67 моделей от 21 поставщика, выявлено, что предположение о том, что разные модели могут компенсировать слабости друг друга, ошибочно. Этот эффект называется «кофейлурный предел» — риск, связанный с тем, что несколько моделей могут одновременно работать некорректно. Результаты показывают, что многие организации строят дорогостоящие системы управления, основываясь на ложных предположениях.К примеру, при комбинировании моделей с низкой корреляцией в ошибках разработчики могут столкнуться с ухудшением производительности, поскольку менее эффективные модели могут «задавить» более сильные. Это исследование обнажает до 10% убытков из-за неправильного распределения нагрузки между моделями.
Технические детали и архитектура
Для построения системы с несколькими моделями разработчики используют различные архитектуры, включая маршрутизаторы и каскадные модели. Эти решения увеличивают время обработки и затраты на обслуживание. Например, каждый раз при добавлении маршрутизатора команды сталкиваются с дополнительными задержками и рисками управления, связанными с многими поставщиками API.По словам автора исследования Йосефа Чена, «наивное голосование по результатам различных моделей может привести к отрицательному эффекту, когда более слабые модели голосуют против сильной». Рекомендуется комбинировать только модели сопоставимого качества, а в противном случае лучше инвестировать в лучшую модель.
Практические выводы для разработчиков
Для команд разработчиков это исследование подчеркивает важность тщательного выбора моделей. Неправильная комбинированная архитектура может ухудшить результаты. Замена слабых моделей на качественные может сэкономить ресурсы и повысить общую производительность разработки. На сегодняшний день использование нескольких несовместимых моделей может привести к значительным финансовым потерям.Предприятиям следует пересмотреть свои подходы к ИИ, чтобы избежать ненужных затрат и улучшить результаты работ на основе данных.
Следующий шаг — предприятиям необходимо адаптировать свои стратегии обрабатывающих систем к результатам данного исследования, чтобы минимизировать риски и снизить затраты на инфраструктуру.