KV-кэш в длинном диалоге способен занять больше видеопамяти, чем сами веса модели, а цифра «70B» в названии LLM не гарантирует лучший ответ. Разобраться в этих деталях становится необходимо не только исследователям: инференс LLM уже выбирают для локальных ассистентов, корпоративных ботов и инструментов разработки — и русскоязычным командам приходится считать не абстрактный «AI-потенциал», а гигабайты VRAM, скорость первого токена и качество после квантизации.
Tom's Hardware собрал базовый словарь терминов, который помогает читать спецификации языковых моделей без магии и маркетингового тумана. В фокусе — текстовые LLM для чатов, программирования и агентных сценариев: веса, типы данных, контекстное окно, KV cache, архитектура Mixture-of-Experts, RAG и две фазы инференса — prefill и decode.
Модель в этом контексте — не приложение с чатом, а обученная статистическая система, которая предсказывает следующие токены: фрагменты слов, знаки препинания, код и другие символы. Её ключевая часть — веса, или параметры. Обозначения 4B, 8B или 70B говорят о числе параметров в миллиардах. Но сравнивать модели только по этой цифре — примерно как выбирать процессор по одной тактовой частоте. Размер важен, но на результат влияют данные обучения, архитектура, настройка и способ запуска.
Отдельная ловушка — термин open-weight. Открытые веса позволяют скачать и запускать модель, а иногда дообучать или модифицировать её под собственную задачу. Это не делает модель полностью открытым исходным кодом: методика обучения, датасеты и процесс получения весов могут оставаться закрытыми. Для бизнеса разница практическая: открытые веса дают больше контроля над развёртыванием и данными, но переносят на команду выбор железа, настройку сервинга и оценку рисков.
Главный инструмент, позволяющий запускать крупные модели не только в дата-центре, — квантизация. После обучения высокоточные значения весов переводят в более компактный формат: например, из BF16 в INT8 или INT4. По сути это контролируемое округление: модель занимает меньше памяти и может работать на потребительском GPU, Mac Studio или специализированном локальном устройстве, но часть точности теряет. Один и тот же вариант Llama 3.3 70B может существовать в BF16 и INT4-версиях. Первая требует значительно больше памяти, вторая доступнее локально. Правильный вопрос при выборе — не «какая квантизация самая быстрая», а «какая ещё сохраняет нужное качество на наших документах, коде и языке общения».
Контекстное окно — рабочая память сессии, измеряемая в токенах. В него попадает не только последний запрос, но и история диалога, системные инструкции, загруженные файлы, результаты поиска и данные инструментов. Большое окно полезно для анализа репозитория или пакета документов, однако оно не превращает модель в безошибочного читателя многотомника. У LLM наблюдается эффект «потеря в середине»: начало и конец длинного контекста могут обрабатываться лучше, чем сведения, спрятанные между ними. Поэтому миллион токенов в спецификации — это запас по объёму, а не обещание, что модель одинаково внимательно усвоит каждый фрагмент.
За стоимость долгого разговора отвечает KV-кэш. При обработке входа модель строит промежуточные представления связей между токенами и сохраняет их, чтобы не пересчитывать всю историю при каждом новом вопросе. Без такого кэша чат с сотнями тысяч токенов становился бы всё медленнее: для очередного ответа пришлось бы заново прогонять почти весь диалог. Кэш ускоряет повторные обращения, но требует памяти; при крупном контексте именно он может стать главным потребителем VRAM. Его тоже квантизируют, обменивая небольшую потерю точности на более экономный запуск.
Иногда в описании модели встречается MoE, или Mixture-of-Experts. Это архитектура с несколькими специализированными блоками внутри модели, из которых для каждого токена активируется лишь часть. «Эксперты» здесь не являются виртуальными программистами, юристами или дизайнерами: они специализируются на статистических паттернах токенов, а не понимают предметные области как люди. Плюс подхода — при большом общем числе параметров модель может активировать только нужную долю и работать быстрее. Минус — для хранения всех весов по-прежнему требуется память.
Ещё один термин, который часто смешивают со способностями самой модели, — RAG. Retrieval-Augmented Generation означает, что приложение сначала ищет или извлекает внешние данные — страницы, корпоративные документы, письма, таблицы, — а затем передаёт релевантные фрагменты в контекст модели. Это помогает отвечать на свежие и внутренние вопросы без переобучения, но не отменяет проверку источников и контроль доступа. Кроме того, найденные материалы раздувают контекст и повышают вычислительную нагрузку.
Сам инференс LLM состоит из двух разных по характеру этапов. На prefill модель принимает промпт и всю доступную историю, токенизирует их и формирует KV-кэш. Эта часть обрабатывается параллельно; она заметно влияет на time to first token — задержку до первого символа ответа. Затем начинается decode: модель генерирует токены по одному, последовательно сверяясь с весами и кэшем. Здесь скорость обычно упирается не столько в вычисления, сколько в пропускную способность памяти, поэтому показатель tokens per second нельзя отрывать от длины контекста и выбранного формата весов.
Для ускорения decode применяют speculative decoding и multi-token prediction: вспомогательный механизм предлагает несколько следующих токенов, а основная модель проверяет их параллельно. Удачные предположения экономят вычисления, ошибочные отбрасываются. Для разработчика вывод приземлённый: перед покупкой GPU или выбором облачного сервиса стоит измерять инференс LLM на собственных задачах — с реальной длиной промптов, документами и ожидаемым числом одновременных пользователей. Гонка за большим числом параметров и огромным контекстом продолжается, но всё чаще выиграет не самая крупная модель, а та, которую команда сумеет быстро, предсказуемо и экономно встроить в продукт.
