Снижение стоимости токенов для инференса AI — только полдела. Поскольку компании переходят от экспериментов с AI к его внедрению в продакшен, основные затраты теперь связаны не с обучением базовых моделей, а с инфраструктурой, необходимой для обработки тысяч одновременных запросов.
Почему расходы растут
Ранее AI-проекты включали в себя лишь несколько крупных, запланированных обучающих заданий. В условиях массового развертывания AI необходимо поддерживать постоянный поток краткосрочных и непредсказуемых запросов, требующих значительных ресурсов GPU, сетей и хранения данных. Как поясняет Аниндо Сенгупта, вице-президент Nutanix, «Каждый сотрудник с AI-ассистентом генерирует множество токенов». При этом, хотя стоимость за токен снизилась почти в десять раз за последние два года, общие затраты на AI растут.
Экономический парадокс АИ
Согласно Сенгупте, когда ресурс становится дешевле, его потребление часто растет быстрее, чем цена падает. Стоимость использования токенов снизилась, однако общее потребление увеличилось более чем в 100 раз. Это значит, что такие метрики, как стоимость за токен и использование GPU, становятся основополагающими для IT-отделов, наряду с традиционными показателями, такими как доступность и пропускная способность.
Обратная сторона графика
Проблема в том, что различные факторы влияют на стоимость токенов в зависимости от работы, которые выполняет организация, местоположения нагрузки и структуры запросов. Как отмечает Сенгупта, «Оптимизация расходов превращается в инженерную задачу, требующую постоянного тонкого наладки».
Для чего это важно для бизнеса
Для ИТ-руководителей компаний в России это означает необходимость тщательного планирования и выбора инфраструктуры. Если ваша организация использует AI, стоит инвестировать в современные интегрированные решения, которые обеспечивают эффективное использование ресурсов и позволяют избежать неоправэтих затрат.
Следующий шаг — адаптация инфраструктуры под новые реалии. Важно готовиться к усилению конкуренции среди поставщиков услуг, чтобы максимально эффективно использовать новые возможности AI.