MoE-модели: активные параметры не равны памяти сервера

У Mixture of Experts есть два важных числа: полный размер модели и объём параметров, которые участвуют в обработке конкретного токена. Второе помогает понять характер вычислений. Первое остаётся важным для размещения весов. Подменять их друг другом в заявке на сервер нельзя.

Что означает активная часть

В MoE маршрутизатор выбирает часть экспертов для конкретного токена. Другие эксперты могут понадобиться следующему токену или другому запросу. Поэтому для обычного размещения готовой модели их веса должны оставаться доступны.

Официальная карточка Qwen3-30B-A3B указывает 30,5 млрд параметров всего и 3,3 млрд активных, а также 128 экспертов и 8 активируемых. 1 Это пример архитектуры, а не утверждение о том, что она является последней или оптимальной моделью на дату закупки.

Если ошибочно считать четырёхбитные веса по 3,3 млрд параметров, получится 1,65 GB. Расчёт по полным 30,5 млрд даёт 15,25 GB до метаданных. Разница почти на порядок возникает ещё до добавления контекста и runtime. Обе цифры здесь являются арифметической иллюстрацией.

Где будут лежать неактивные эксперты

Возможны размещение всей модели в VRAM, распределение по нескольким GPU или выгрузка части весов в RAM. Это разные режимы с разными ограничениями. Наличие большого объёма системной памяти не гарантирует низкую задержку обращения к весам.

Поставщик должен указать фактическую схему. В формулировке «поддерживает модель» могут скрываться совсем разные характеристики: загрузка без ошибок, интерактивный ответ одному человеку или обслуживание очереди запросов. Требование надо выразить через наблюдаемое поведение сервиса.

Вопрос к конфигурации	Почему он важен
Все ли веса находятся в VRAM?	Влияет на обмен и задержку
Как распределяются эксперты?	Определяет требования к межсоединениям
Есть ли запас под cache?	Влияет на допустимый контекст
Какая нагрузка была измерена?	Показывает реальную пригодность

MoE меняет распределение работы

Разные запросы могут нагружать экспертов неравномерно. Кроме самих матричных вычислений появляется маршрутизация и обмен данными между устройствами. vLLM документирует expert parallelism и его конфигурации отдельно. 2 Наличие такой функции ещё не говорит, что она выгодна на любой комбинации оборудования.

Для одного узла сначала сравните простое размещение с распределённым на одной тестовой выборке. Для нескольких узлов попросите протокол измерения сетевой части, а не только итоговый токен в секунду. Если время ожидания обмена растёт, добавление GPU может не давать ожидаемого результата.

Как провести пилот

Выберите несколько типов запросов: короткие диалоги, длинные документы и задачи с большим ответом. Используйте смесь, близкую к эксплуатации. Измерьте задержки, очередь, пиковую память и ошибки при постепенном увеличении нагрузки. Отдельно проверьте холодный старт и обновление модели.

Не сравнивайте MoE и плотную модель только по «активным миллиардам». Важны качество, поддержка движком, контекст и общая стоимость успешной задачи. Модель с меньшим вычислительным бюджетом может требовать более сложного размещения; это не делает её плохой, но меняет экономику.

Что записать в техническом задании

Укажите полный идентификатор модели и ревизию, число всех параметров, формат весов, используемый движок, способ распределения и ограничения контекста. Для offload добавьте допустимую задержку и объём RAM. Зафиксируйте, допускаются ли изменения формата после испытаний.

Начальный бюджет памяти можно сверить с гайдом по VRAM. Если задача требует выбора между компактной плотной моделью и MoE, аудит нагрузки должен закончиться сравнением на ваших данных. Покупать сервер по числу активных параметров без такого сравнения слишком мало для обоснованного решения.