Исследователи из Meta, Google и нескольких университетов разработали AutoTTS — новый фреймворк для автоматизации стратегий тестового масштабирования (TTS) в больших языковых моделях (LLM). Это решение позволяет организациям значительно сократить использование токенов и, как следствие, снизить операционные расходы при развертывании AI-моделей.
Что такое тестовое масштабирование?
Тестовое масштабирование используется для повышения производительности LLM в реальных приложениях, предоставляя дополнительные вычислительные ресурсы во время вывода. Однако традиционные стратегии TTS разработаны вручную, что ограничивает количеством доступных подходов и создаёт неэффективные решения. Таким образом, командам разработки приходилось полагаться на интуицию при создании алгоритмов, которые определяют, когда модель должна исследовать разные пути рассуждения.
Как работает AutoTTS?
Автоматизация с помощью AutoTTS переписывает правила проектирования TTS как задачу алгоритмического поиска. Вместо того чтобы вручную настраивать параметры, инженеры теперь могут создать среду, в которой AutoTTS будет самостоятельно исследовать различные стратегии. Эта система использует «исследовательские модели», такие как Claude Code, которые предлагают оптимальные алгоритмы распределения вычислительных ресурсов.
В ходе испытаний AutoTTS смогла снизить использование токенов на 69,5%, не жертвуя при этом точностью. Это стало возможным благодаря эффективному управлению бюджетами вывода и адаптивному распределению вычислительных ресурсов.
Преимущества для разработчиков и бизнеса
Для разработчиков это открывает новые горизонты в оптимизации AI-моделей, позволяя более эффективно распределять ресурсы. Компании могут значительно сэкономить на затратной инфраструктуре, при этом сохраняя высокую производительность. Например, оптимизация вычислений может привести к снижению расходов на 20-30% в проекте разработки ML.
Таким образом, использование AutoTTS может стать важным шагом для оптимизации как малых, так и крупных AI-проектов. Это изменение, несомненно, окажет значительное влияние на индустрию, ускоряя внедрение AI-технологий в различных сферах.
Следующий шаг — массовая интеграция AutoTTS в существующие AI-экосистемы, что позволит максимально использовать его преимущества для решения реальных задач.