Cloudflare представила Auto Router, который может снизить затраты на использование AI до 30%. Это важная новость для компаний, стремящихся оптимизировать свои расходы на ИИ.
Как это работает
Auto Router автоматически направляет запросы к подходящим моделям для выполнения конкретных задач, избавляя пользователей от необходимости самостоятельно выбирать нужную модель. Это решение особенно актуально для организаций, где сокращение затрат имеет первостепенное значение.
В Cloudflare отметили, что использование Auto Router показало существенное снижение расходов в тестах. Например, при применении алгоритма в рамках OpenCode и их кастомной платформы Cloudflare OS было отмечено, что на AI-затраты тратится на 30% меньше по сравнению с использованием более мощных моделей, таких как OpenAI GPT-6 и Anthropic Claude Opus.
Причины создания Auto Router
Поскольку компании накапливают опыт в использовании AI, важно управлять расходами. По словам представителей Cloudflare, пользователи часто выбирают модели, которые избыточны для выполнения простых задач. Например, для резюмирования электронных писем не требуется уровень интеллекта Claude Opus. Auto Router позволяет организациям сократить расходы, автоматически выбирая оптимальные модели для каждого запроса.
Cloudflare интегрировала Auto Router в свою систему AI Gateway, что позволяет получать доступ к функционалу и наблюдать за расходами. Эта система также предоставляет аналитику затрат, что позволяет легче контролировать AI-бюджеты.
Значение для рынка
Для разработчиков и корпоративных клиентов, использующих AI, это означает, что они смогут существенно сократить затраты на использование моделей, не теряя в качестве. С Auto Router компании могут экономить до $2.10 за успешный запрос, тогда как расход на более мощные модели может достигать $5.91. Это обстоятельство еще раз подчеркивает необходимость оптимизации затраты на AI в условиях постоянно растущей конкуренции и цен на SaaS-услуги.
Следующий шаг — дальнейшее развитие Auto Router и возможное улучшение эффективности его работы. Если Cloudflare сможет предложить дополнительные инструменты для оптимизации, это значительно изменит landscape AI в корпоративном секторе.