Cloudflare запустила AI Gateway, новую платформу, которая позволяет разработчикам получать доступ к более чем 70 AI моделям от различных провайдеров, используя всего один API. Это важно для разработчиков, стремящихся упростить интеграцию AI без привязки к определённому поставщику и контролировать затраты.
Контекст запуска
С ростом популярности AI-инструментов и моделей, таких как OpenAI и Anthropic, компании сталкиваются с необходимостью использовать несколько решений для разных задач. Часто разработчики вынуждены переключаться между различными провайдерами, что увеличивает время отклика и затраты. По этим Cloudflare, средняя компания использует 3,5 модели от различных провайдеров, что усложняет мониторинг затрат.
Что — AI Gateway
AI Gateway предоставляет единую точку доступа для различных AI-моделей, позволяя разработчикам легко переключаться между ними. Например, для перехода с модели Cloudflare на модель от OpenAI достаточно внести однострочные изменения в код. Это значительно упрощает процесс интеграции, особенно для тех, кто использует Cloudflare Workers.
Среди новых партнёров Cloudflare — Alibaba Cloud, Bytedance, Google и другие, что расширяет возможности применения. В AI Gateway доступны не только текстовые модели, но и модели для работы с изображениями, видео и речью, что позволяет создавать мультимодальные приложения.
Управление расходами на AI
С помощью AI Gateway разработчики смогут не только получать доступ к различным моделям, но и эффективно управлять своими расходами. Платформа предлагает возможность добавления метаэтих к запросам, что позволяет детализировать затраты по различным критериям, например, по индивидуальным пользователям или по конкретным рабочим процессам. Это снизит вероятность превышения бюджета и упростит планирование.
Практические выводы для разработчиков
Для российских разработчиков создание AI-приложений становится проще и доступнее. С запуском AI Gateway они смогут адаптировать решения под конкретные задачи без необходимости разворачивать сложную инфраструктуру с множеством провайдеров. Это связано с тем, что многие стартапы и компании малого и среднего бизнеса ищут эффективные и экономичные способы интеграции AI в свои приложения.
С дальнейшим расширением модельного каталога Cloudflare и внедрением новых функций, таких как REST API, пользователи скорее всего смогут ожидать ещё большего упрощения работы с AI.