Купить сервер для локальной LLM

Сначала модель, затем сервер

Покупателю, который уже решил запускать LLM локально, нужен не только список ускорителей. Нужна конфигурация, которая выдержит реальные рабочие запросы. Укажите имя и ревизию модели, квантование, контекст, число одновременных запросов, допустимую задержку и состав программного стека.

Отдельно посчитайте память под веса, KV-cache и буферы. VRAM GPU не равна суммарному объёму памяти доступных карт для произвольной модели: распределение и возможность запуска зависят от движка, механизма параллелизма и меж-GPU соединений. Используйте калькулятор VRAM как первичную оценку и проверяйте производительность на пробной конфигурации.

Какие платформы рассматривать

2U PCIe-сервер подойдёт для управляемого корпоративного размещения небольшого числа GPU, когда заявленная матрица совместимости покрывает нужные карты. 3U/4U multi-GPU имеет смысл сравнивать при большом объёме модели или нескольких обслуживаемых нагрузках. Модельный ряд Dell, ASUS и Lenovo приведён ниже, но не все GPU подходят ко всем исполнениям.

Состав предложения на покупку

КП должно содержать точные артикулы узла, GPU, CPU, RAM, SSD, сеть, требования к питанию и охлаждению, гарантию исполнителя, срок поставки и условия приёмочного теста. Если поставщик предлагает ускорители отдельно, попросите подтвердить монтажный комплект, питание и обслуживание всей системы.

Как выбрать из двух предложений

Сравните совокупную цену владения, сервис, готовность программного стека, план расширения и условия поставки. Для постоянной нагрузки покупка может оказаться оправданной, но при небольшом объёме запросов облако или внешнее API тоже стоит считать. Наши карточки показывают справочные платформы, а не наличие на складе. Для расчёта укажите точную модель LLM либо задачу, и мы подготовим следующий шаг к спецификации.