Сервер для модели 70B: как оценить память и варианты размещения

Обозначение 70B сообщает порядок числа параметров, но ещё не определяет конфигурацию сервера. Две модели этого класса могут по-разному расходовать KV-cache, поддерживать разные форматы квантования и давать разное качество на одной задаче. Начинать подбор надо с точного артефакта и сценария.

Нижняя оценка весов

Для условных 70 млрд параметров арифметический размер весов составляет 140 GB в 16 битах, 70 GB в 8 битах и 35 GB в 4 битах. В двоичных единицах это примерно 130,4, 65,2 и 32,6 GiB. Метаданные квантования, неравномерная точность тензоров и память исполнения в эти значения не входят.

Формат условных весов	Нижняя оценка	Что ещё добавить
16 бит	130,4 GiB	Cache, активации, runtime
8 бит	65,2 GiB	Масштабы, cache, runtime
4 бита	32,6 GiB	Метаданные формата, cache, runtime

Следовательно, нельзя выбирать карту ровно по этой таблице. Если спецификация GPU указывает 48 GB, это не доказывает возможность обслуживать любую модель 70B в 4 битах при любом контексте.

Добавьте архитектуру attention

Для оценки cache нужны число слоёв, количество KV-heads и размер головы. Эти параметры берут из config выбранной модели. Не подставляйте число query-heads автоматически: grouped-query attention использует другую структуру cache. Для моделей с MLA или гибридной памятью нужен отдельный расчёт.

Покажем условный пример, не привязанный к названию модели: 80 слоёв, 8 KV-heads, размер головы 128, cache по 2 байта. Один полный контекст 8192 токена занимает 2,5 GiB. Восемь независимых контекстов займут 20 GiB. С идеальными четырёхбитными весами сумма уже равна примерно 52,6 GiB до остальных расходов.

Сократить память можно меньшим контекстом, ограничением параллельности или подходящим форматом cache. Каждое изменение должно пройти проверку качества и задержки. Разные стратегии cache документированы в Transformers. 1

Рассмотрите три конфигурации

Одна GPU достаточной ёмкости. Упрощает размещение модели и исключает обмен между GPU внутри одного запроса. Но подходит только после проверки полного бюджета памяти и доступного runtime.

Несколько GPU в одном сервере. Позволяют распределять модель, если это поддерживается выбранной реализацией. Понадобится проверить схему PCIe, межсоединения, равномерность распределения и память на каждом устройстве. В vLLM есть tensor и pipeline parallelism с разными схемами разделения. 2

Выгрузка части работы в RAM. Может быть разумна для экспериментов с мягкими требованиями ко времени. Её нельзя приравнивать к полностью GPU-размещению. В приёмке фиксируйте именно фактический режим, иначе демонстрация «модель запустилась» скроет неприемлемую задержку.

Не покупайте 70B как знак серьёзности

Сравните выбранную модель с меньшей на реальных вопросах. Внутренний поиск, извлечение полей и классификация могут требовать разных качеств. Если меньшая модель проходит критерии приёмки, оставшийся бюджет можно направить на резервирование, данные или интеграцию.

С другой стороны, экономия на модели при заметной потере качества создаёт расходы на ручную проверку. Для сравнения полезна стоимость успешно решённой задачи, включая исправления человеком. Так появляется измеримая связь инфраструктуры с результатом бизнеса.

Что запросить у исполнителя

Передайте точное имя модели, ревизию, формат весов, список разрешённых длин и поток запросов. Попросите протокол теста с p95 задержки, долей ошибок, пиком памяти и версиями ПО. Укажите, допускается ли очередь и сколько длится восстановление после перезапуска.

Проверить начальные оценки можно в калькуляторе VRAM. Для выбора между одной ёмкой GPU, многокарточным сервером и арендованным узлом используйте подбор локального решения. Итогом должен быть обоснованный класс конфигурации и план испытаний, а не обещание скорости по одному числу параметров.