Как выбрать сервер для локальной LLM: от задачи до спецификации

Выбирать сервер для языковой модели удобнее от проверяемого результата: какие запросы он должен обрабатывать, с какой задержкой и сколько стоит его эксплуатация. Название GPU появляется позже. Иначе легко купить систему, которая запускает модель, но не выдерживает рабочую очередь.

Сначала опишите одну нагрузку

Составьте короткий паспорт сервиса. Укажите точную модель и её ревизию, формат весов, длину входа и ответа, число одновременно выполняющихся запросов, режим работы и допустимую задержку. Отдельно запишите ограничения на данные: можно ли отправлять их внешнему API, где хранить историю и кто получит доступ к журналам.

Число сотрудников не равно параллельности. Из двухсот пользователей в конкретную секунду может писать несколько человек. У ночной обработки документов, наоборот, один оператор способен создать тысячи задач. Поэтому требование «сервер на двести сотрудников» ещё не позволяет оценить память или скорость.

Начните с трёх представительных сценариев: короткий вопрос, обычный документ и самый длинный разрешённый запрос. Для каждого задайте ожидаемую долю в потоке. Это даст поставщику воспроизводимое задание вместо обещания «быстрого ИИ».

Разделите память и производительность

Видеопамять расходуют веса, KV-cache, промежуточные вычисления и служебные буферы. Приближение для весов: число параметров, умноженное на число бит и делённое на восемь. Это нижняя арифметическая оценка без метаданных квантования. Условные 32 млрд параметров в 4 битах дают 16 млрд байт, примерно 14,9 GiB. Полный процесс потребует больше.

KV-cache зависит от архитектуры и суммарного числа сохраняемых токенов. Его можно отдельно оценить в калькуляторе памяти. Формула обычного attention не является универсальной для MLA, гибридных моделей или sliding window. Документация Transformers описывает несколько стратегий cache с разными компромиссами по памяти и скорости. 1

Достаточная память не гарантирует приемлемый сервис. После загрузки модели надо измерить время первого токена, интервал между токенами и длину очереди на вашей смеси запросов. Результат теста на коротком англоязычном вопросе нельзя переносить на длинные русские документы без проверки.

Выберите класс системы

Ситуация	Что проверить первым	Возможный класс решения
Один специалист исследует модели	Удобство работы и допустимый шум	Рабочая станция
Несколько внутренних сервисов	Изоляция, очередь, резервирование	Сервер или выделенная аренда
Модель не помещается на одной GPU	Поддержка распределения моделью и движком	Несколько GPU в одном узле
Нагрузка ещё не известна	Возможность быстро изменить конфигурацию	Ограниченный пилот в аренде

Это схема выбора, а не список гарантированно подходящих комплектаций. Для распределённого инференса vLLM поддерживает разные стратегии параллелизма; дополнительная GPU требует согласования движка и межсоединений, а не только свободного слота. 2

Проверьте остальной сервер

CPU должен успевать обслуживать токенизацию, сетевые запросы и подготовку данных. RAM нужна операционной системе, загрузке модели и соседним сервисам. Накопитель влияет на запуск, обновление весов и восстановление. Для постоянного сервиса важны удалённое управление, совместимость охлаждения, питание и доступность запасных компонентов.

Просите спецификацию всей системы: модель корпуса, платы, CPU, RAM, накопителей, GPU, блока питания и сетевых адаптеров. Формулировка «аналогичный компонент» без процедуры согласования создаёт риск: заменённая плата может иначе разводить PCIe, а корпус не справиться с выбранной картой. Проверяемые списки сертифицированных серверных сочетаний публикует NVIDIA; наличие в таком списке не подтверждает доступность поставки в вашу страну. 3

Что включить в приёмку

Зафиксируйте версии драйвера, движка и модели, ограничения контекста, измеряемый поток запросов и критерии успеха. Попросите показать запуск после перезагрузки, заполнение очереди, обработку слишком длинного запроса, сохранность настроек и восстановление из резервной копии. Отдельно согласуйте гарантийный маршрут и срок замены неисправного узла.

Коммерческое предложение стоит сравнивать вместе с этой программой испытаний. Более дешёвая конфигурация без подтверждённой нагрузки пока является гипотезой, а дорогая система без понятной эксплуатации может оказаться лишним расходом. Для подготовки спецификации используйте подбор локальной LLM-инфраструктуры и приложите несколько обезличенных примеров запросов.