Amazon представил Turnstile — прокси, который значительно улучшает качество обучения языковых моделей при помощи точного фиксации данных о токенах. Эта инициатива важна для разработчиков в сфере AI, так как она позволяет более эффективно обучать модели на основе вещей, которые они действительно видели.
Контекст: вызовы в обучении RL
Обучение с подкреплением (RL) помогает языковым моделям выполнять сложные задачи, такие как программирование и навигация. Однако процесс оптимизации моделей часто сталкивается с проблемами точности из-за потери критически важной информации в текстовых транскрипциях. С Turnstile, который разработан с использованием Rust, игнорируется эта проблема путем непосредственного захвата токенов на этапе их генерации.
Что такое Turnstile и как он работает
Turnstile записывает точную историю токенов каждого запроса в реальном времени. Это позволяет избежать проблем с «дрейфом ретокенизации», когда даже незначительное изменение в формате может привести к приему некорректной информации. Благодаря этому новому подходу компании могут настраивать свои RL модели более эффективно, а данные передаются в уже существующий стек обучения.
В тестах с Turnstile агенты по программированию и многомодальные агенты постоянно улучшали своё выполнение задач. Например, данные, собранные Turnstile, привели к ясным учебным сигналам, что влияет на эффективность обучения.
Значение для разработчиков
Для разработчиков в России это новшество открывает широкие перспективы в области обучения AI. Использование Turnstile может сократить время на обучение моделей на 20-30% и привести к более точным результатам. Рынок машинного обучения в СНГ растет, и эффективные инструменты, такие как Turnstile, могут дать пользователям конкурентные преимущества.
Следующий шаг для Amazon — продолжение оптимизации Turnstile и расширение его применения в других областях машинного обучения.