Лаборатория научных исследований «Т-Технологий» представила два метода, которые обещают сделать обучение языковых моделей менее прожорливым: LIMe сокращает вычислительные затраты на 15% при сохранении качества, а KronSAE снижает стоимость выделения признаков внутри модели более чем на 40%. Для российских команд, которые считают бюджет на GPU не менее внимательно, чем качество на бенчмарках, это не академическая арифметика, а потенциальный способ дольше обучать модели на тех же мощностях.
О разработке сообщает CNews со ссылкой на представителей «Т-Банка». Исследователи проверили LIMe на моделях примерно с 1 млрд параметров, а KronSAE — на Qwen2.5-1.5B-Base и Gemma-2-2B. Исходный код обоих методов, по данным компании, опубликован в открытом доступе.
Как LIMe возвращает модели память о ранних слоях
Современные LLM строятся на трансформерах: текст разбивается на токены, а затем проходит через цепочку слоёв. Каждый слой получает числовые представления от предыдущего и уточняет их. Проблема в том, что на длинной дистанции эти представления могут слишком сближаться. Модель начинает хуже различать токены и теряет часть сигналов, которые особенно нужны в задачах с несколькими шагами рассуждений.
LIMe, или Layer-Integrated Memory, предлагает не заставлять каждый слой довольствоваться только результатом непосредственного предшественника. В архитектуру добавляется маршрутизатор: он решает, какие данные из более ранних слоёв стоит использовать в текущем вычислении. Идея похожа на доступ к промежуточным версиям проекта, а не только к последнему коммиту: полезная деталь, которую поздний слой уже успел размыть, остаётся доступной.
Авторы утверждают, что такой подход позволяет повторно использовать уже рассчитанную информацию, не раздувая внутренние представления модели. В тестах LIMe сравнивали с LLaMA, DenseFormer и HyperConnections. На задачах языкового моделирования, математических упражнениях и многошаговых рассуждениях метод достигал качества базовой LLaMA с затратами на 15% ниже, а в ряде тестов улучшал предсказание следующего текста.
Особенно заметной разница оказалась на синтетических арифметических задачах и в более глубоких сетях. Это логично для заявленной механики: там, где модели важно не спутать похожие числовые состояния, потеря различий между представлениями быстро превращается из архитектурной тонкости в ошибочный ответ. При этом речь пока не о замене трансформера, а о модификации его работы с информацией между слоями.
Зачем нужен KronSAE, если модель и так отвечает
Второй метод адресует другую неприятность больших моделей: они могут работать убедительно, но объяснить, какие именно внутренние признаки привели к ответу, гораздо сложнее. Для такого анализа используют разреженные автоэнкодеры, или SAE. Они пытаются разложить внутренние активации модели на отдельные интерпретируемые признаки — условно, на компоненты, которым можно приписать смысл и проверить их связь с поведением системы.
KronSAE меняет способ представления этих признаков. Вместо их прямого выделения метод формирует их из сочетаний более простых компонентов. По заявлению исследователей, это лучше учитывает связи между признаками и делает внутренние процессы LLM понятнее для анализа. На Qwen2.5-1.5B-Base и Gemma-2-2B подход потребовал более чем на 40% меньше вычислительных операций, чем популярный TopK SAE.
Здесь важно не смешивать два результата в одну красивую, но неверную цифру. LIMe относится к эффективности самой модели при обучении и показал экономию 15% для достижения качества базовой LLaMA. KronSAE ускоряет выделение признаков при исследовании уже работающих языковых моделей; его снижение вычислений более чем на 40% относится именно к этой процедуре. Оба направления полезны, но находятся на разных участках инженерного контура.
Для команд, занимающихся обучением языковых моделей, LIMe может быть интересен как способ снизить стоимость экспериментов без немедленного перехода на более крупный кластер. Для исследователей безопасности, надёжности и поведения LLM KronSAE предлагает дешевле проводить механистический анализ — искать, что именно кодируется в активациях и как связаны внутренние признаки. Однако представленных данных недостаточно, чтобы переносить заявленные проценты на модели другого масштаба или на конкретную коммерческую нагрузку.
Руководитель лаборатории научных исследований ИИ «Т-Банка» Даниил Гаврилов связывает работу одновременно с качеством и интерпретируемостью моделей. Тренд понятен: гонка за количеством параметров не отменяет необходимость экономить вычисления и понимать, почему система пришла к конкретному выводу. Следующий практический вопрос — сохранятся ли преимущества LIMe и KronSAE на существенно более крупных моделях и на задачах, где цена ошибки выше результата очередного бенчмарка.
