Ученые МФТИ предложили метод SimplexLoRA, который сам решает, каким слоям большой языковой модели при дообучении отдать больше параметров, а каким — меньше. Общий бюджет не растет, дополнительных вычислений при работе модели не появляется: для команд, которые упираются в видеопамять и цену экспериментов, это вполне прикладная оптимизация.
Разработку сделали исследователи МФТИ совместно с коллегами из «Т-Технологий», сообщает CNews. Статью планируют представить на конференции EMNLP 2026 в Будапеште в октябре. Авторы проверили подход на 12 задачах и четырех моделях разного размера, включая Llama 3.1 8B и Qwen3-8B: среди сценариев были анализ тональности, вопросно-ответные системы, математические рассуждения и реферирование текстов.
Проблема, на которую нацелен подход, хорошо знакома всем, кто адаптирует LLM под внутренний поиск, поддержку, документы или специализированную аналитику. Полностью переобучать модель под каждую задачу дорого: нужны вычислительные мощности, память и время. Поэтому чаще используют параметрически эффективное дообучение — добавляют к базовой модели небольшие обучаемые модули, не меняя все ее веса.
Один из самых распространенных вариантов — LoRA. Вместо обновления крупных матриц весов он обучает низкоранговые адаптеры. Базовая модель остается практически нетронутой, число обучаемых параметров сокращается, а получившуюся версию можно применять в конкретной задаче. Но у стандартного LoRA есть несколько прозаичное ограничение: адаптерам во всех слоях обычно назначают одинаковый размер. Это удобная настройка, но не обязательно разумное расходование дефицитного бюджета параметров.
Разные части нейросети по-разному участвуют в освоении новой задачи. Одному слою может понадобиться более емкий адаптер, другому хватит минимального. Если всем выделять поровну, часть ресурсов тратится там, где заметного прироста качества не будет. Особенно это чувствительно при малых рангах LoRA, когда каждый дополнительный обучаемый параметр буквально приходится выбирать с калькулятором.
Метод SimplexLoRA предлагает сначала провести этап оценки: алгоритм определяет, какие слои важнее для конкретной задачи, и распределяет между ними фиксированный бюджет адаптеров. После этого запускается обычное LoRA-обучение, но размеры адаптеров в слоях уже различаются. Важная деталь: метод не создает новый бюджет и не расширяет модель поверх заданного лимита. Он перераскладывает то, что у команды уже есть.
На первый взгляд это похоже на очевидную идею — дать больше там, где больше пользы. Однако в методах дообучения ценность определяется не только качеством итоговых ответов, но и ценой внедрения. Существующие адаптивные схемы могут усложнять обучение, увеличивать число параметров или добавлять вычислительные операции во время инференса. Авторы подчеркивают, что их вариант сохраняет ключевое свойство LoRA: после обучения модель не получает дополнительную нагрузку в продакшене.
«Вместо того чтобы назначать всем слоям одинаковые адаптеры, мы позволяем модели определить, где ограниченный бюджет параметров принесёт наибольшую пользу», — пояснил научный руководитель лаборатории BRAIn Lab Александр Безносиков. По словам одного из авторов работы, научного сотрудника BRAIn Lab Андрея Веприкова, подход сохраняет небольшой объем обучаемых параметров и простоту интеграции, но учитывает различную значимость слоев в конкретной задаче.
Для разработчиков это может означать меньше переборов при настройке адаптеров. Авторы заявляют, что метод устойчив к выбору параметров: во многих случаях можно использовать рекомендованные в работе значения, не устраивая долгий поиск удачной конфигурации. Это не отменяет валидацию на собственных данных — универсальной магии для RAG-систем, классификаторов обращений или корпоративных ассистентов здесь не появилось. Зато появляется более рациональная стартовая точка для экспериментов с ограниченным VRAM.
Для бизнеса ценность тоже лежит не в громком названии, а в экономике цикла разработки. Небольшие команды и компании, дообучающие открытые модели локально или на арендуемых GPU, постоянно выбирают между качеством и лимитами инфраструктуры. Если метод SimplexLoRA действительно дает прирост на малых рангах без удорожания инференса, его можно использовать в существующих пайплайнах LoRA без заметной перестройки кода. Исходный код, по данным авторов, уже опубликован в открытом доступе.
Следующий содержательный вопрос — насколько стабильно распределение параметров поведет себя на доменных русскоязычных данных, длинных контекстах и задачах, где важна не только метрика бенчмарка, но и предсказуемость ответа. Но сама идея точнее тратить фиксированный бюджет выглядит своевременно: в эпоху, когда модели растут быстрее GPU-бюджетов, инженерная экономность становится не компромиссом, а отдельной конкурентной компетенцией.
