Исследователи из Университета Висконсин-Мэдисон и Стэнфорда разработали метод Train-to-Test (T2), который оптимизирует параметры AI моделей и снижает затраты на их развертывание. Это важно для разработчиков AI, ведь они могут значительно сэкономить и получать более качественные результаты от меньших моделей.
Конкурс на рынке AI
Современные AI-решения активно используют масштабирование на этапе тестирования, чтобы повысить точность ответов. Однако традиционные подходы часто игнорируют затраты на инференс, которые порой превышают затраты на обучение модели. Новый метод T2 предоставляет решение этой проблемы и может изменить правила игры на рынке AI.
Как работает новый подход T2
Метод T2 совмещает параметры модели, объем обучающих этих и количество образцов, которые необходимо генерировать во время инференса. В итоге, разработчики могут использовать значительно меньшие модели, обученные на большем объеме данных, что позволяет снизить затраты на каждую итерацию выводов. Как заявляет Николас Робертс, соавтор исследования: "Эксплуатация больших моделей делает каждый вызов дорогим, но компактные модели могут выполнять те же задачи гораздо экономичнее".
Согласно новым данным, традиционная методика, известная как правило Чинчильи, утверждает, что оптимальное соотношение составляет примерно 20 токенов для одного параметра модели. Но многие современные модели, такие как LLaMA и Qwen, намеренно обучаются на огромных объемах данных, пренебрегая этим правилом.
Что это значит для разработчиков AI
Российские компании могут использовать этот новый подход для снижения затрат на разработку и внедрение AI-решений. Вместо дорогостоящих больших моделей, компактные решения обеспечивают достойную производительность без угрозы перерасхода бюджета. Это особенно актуально для стартапов и предприятий, стремящихся к оптимизации ресурсов при внедрении AI-проектов.
Следующий шаг для исследователей — уточнение формул для более детального анализа оптимизации, что поможет в дальнейшем развитии AI-технологий и возможности их применения в различных отраслях.