Cloudflare объединил два своих решения — Workers AI и AI Gateway — в единую платформу для управления AI-сервисами. Это важный шаг для разработчиков, так как упрощает доступ к различным AI-моделям и повышает наблюдаемость за ними.
Контекст: Зачем объединение нужно
Workers AI и AI Gateway изначально развивались как отдельные продукты. Первое решение позволяет разрабатывать и внедрять AI-модели на мощной GPU-инфраструктуре Cloudflare, а второе — проксировать запросы к любому поставщику моделей с обеспечением наблюдаемости и безопасности. Объединение этих решений должно снизить сложность интеграции и улучшить пользовательский опыт.
Как работает новая платформа
Теперь пользователи могут обращаться к любой модели, включая Workers AI, через единый контрольный пункт. Это означает, что управление логированием, безопасностью и выставлением счетов происходит в одном месте. Например, для простого вызова AI Gateway и Workers AI не нужно выполнять лишние настройки — всё будет происходить автоматически.
При первом запросе система сама создаст AI Gateway, даже если его не настроили заранее. Это значительно упрощает работу для разработчиков, так как не требует дополнительного времени на настройку и мониторинг.
Практическое значение для разработчиков
В результате объединения пользователи получают автоматическую наблюдаемость за трафиком запросов, что позволяет отслеживать запросы и ответы без необходимости дополнительной настройки. К примеру, просто передав параметр 'default' в API-запросы, пользователи смогут получить доступ к полной информации по всем вызовам, включая учёт токенов и данные о расходах.
Это значительная оптимизация, особенно для стартапов и малых компаний, где ресурсы часто ограничены. Им больше не нужно беспокоиться о раздельных настройках для каждой модели и могут сосредоточиться на разработке.
Cloudflare продолжит развивать свою платформу, и в будущем можно ожидать ещё больше инструментов для упрощения взаимодействия с AI.