Shopify разработал LLM-прокси, который обеспечивает доступ к нескольким поставщикам AI-моделей с автоматическим переключением в случае проблем. Когда одна из моделей, Claude Fable 5, была отключена, инженеры компании не испытали паники: прокси перенаправил их на Claude Opus или GPT 5.5 без прерывания рабочего процесса.
Контекст разработки
В последние годы интеграция AI в бизнес-решения стала неотъемлемой частью работы многих компаний. Бренды, такие как Google и Microsoft, продолжают развивать свои AI-платформы, оставляя конкурентам необходимость адаптироваться. Shopify продемонстрировала, как можно смягчить возможные сбои при использовании AI через разработку универсального решения.
Преимущества нового подхода
По словам Фархана Тавара, руководителя инженерного отдела Shopify, основной плюс нового прокси в том, что он обеспечивает доступ к разным моделям и их замене без затрат времени на поиск и настройку. Все пользователи подключаются через этот прокси — таким образом, компания получает возможность оптимизировать затраты на токены и получать отчеты по использованию. Если у одного поставщика возникают проблемы с доступностью, пользователи автоматически и плавно перенаправляются к другому.
Skillset (специализация) также становится важным моментом в работе с AI. Например, Shopify использует небольшие язык модели (SLM), которые, как показывают исследования, могут быть в 2-30 раз дешевле и быстрее, чем стандартные модели. Таким образом, их флагманский AI-ассистент Sidekick, который помогает продавцам убирать рутинные задачи, становится эффективнее в работе.
Практические выводы для бизнеса
Российским компаниям стоит обратить внимание на опыт Shopify: наличие четкой системы резервного копирования для AI-инструментов поможет минимизировать сбои в работе. Кроме того, важно рассмотреть возможность использования специализированных моделей, которые могут обеспечить лучшее соотношение цены и качества, а также повысить точность решений.
Следующий шаг для Shopify — дальнейшее развитие прокси с возможностью дистилляции, предполагающее использование модели-учителя для обучения более компактных и эффективных решений без жесткой привязки к традиционным подходам в AI.