Snowflake внедрил автоматическое маршрутизирование AI-моделей, позволяя бизнесам экономить до 3x на простых запросах. Это значительно упростит управление затратами на AI для предприятий, которые ранее переплачивали за использование более мощных моделей для выполнения простых задач.
Текущая ситуация на рынке AI
Сложность выбора подходящей модели AI стала серьезной проблемой для предприятий, стремящихся масштабировать свои AI-решения. Часто используется одна модель для разных задач, что приводит к увеличению расходов и замедлению обработки. Таким образом, создание более эффективных решений с автоматическим маршрутизированием — это необходимость, на которую обращают внимание многие игроки рынка, включая Databricks, AWS и Google Cloud.
Как работает новое решение Snowflake
Теперь пользователи могут выбирать опцию «авто» для маршрутизации задач. Эта функция автоматически определяет наилучшую модель для каждой конкретной задачи с точки зрения стоимости и качества. По данным Snowflake, использование автоматического маршрутизирования может сократить затраты на токены до 3x, что значительно облегчает управление бюджетом для компаний.
Целевой механизм маршрутизации основан на двух принципах: меньшая модель сначала пытается решить задачу, и, если не справляется, подключается более мощная модель. Кроме того, специализированный классификатор направляет простые запросы к менее затратным моделям, что также помогает экономить средства.
Преимущества для предприятий
Для российских компаний, использующих AI, данное решение может стать важным шагом к оптимизации затрат. Таким образом, компании, стремящиеся улучшить процессы обработки данных, могут сократить бюджеты на AI на 20-30%. Это открывает новые возможности для более малого бизнеса и стартапов, которые могут получить доступ к мощным инструментам без больших трат.
Следующий шаг для Snowflake — это дальнейшее развитие функционала, чтобы предложить своим клиентам более эксклюзивные и адаптированные решения, способные учесть потребности бизнеса в динамично меняющейся среде.