GPU для инференса: как выбрать по нагрузке, а не по TFLOPS

Инференс бывает разным. Ассистент должен быстро начинать ответ, ночная обработка файлов должна завершиться к утру, а API обязан выдерживать оговорённый поток. Одна таблица пиковых вычислений не позволяет выбрать ускоритель для всех этих сценариев.

Разделите две части генерации

При обработке входа система рассчитывает представления токенов контекста. Затем генерирует ответ последовательно. В реальном сервисе к этому добавляются очередь, токенизация, сеть и прикладная логика. Увеличение скорости одной части не обязательно улучшает ощущение пользователя от всей цепочки.

Для интерактивного чата задайте предел времени до первого токена и допустимый интервал между токенами. Для пакетной работы задайте общий объём и время завершения. Если система обслуживает оба режима, заранее определите приоритеты: ночная очередь не должна случайно остановить дневной чат.

Сначала проверьте размещение модели

Полный бюджет памяти складывается из весов, KV-cache и исполнения. Большая GPU может позволить обойтись без распределения, но остаток памяти важен не меньше, чем сам факт загрузки. У L40S официально указаны 48 GB GDDR6 с ECC; эта характеристика описывает устройство, а не число пользователей вашего приложения. 1

Для конкретного выбора потребуются формат весов, размер контекста и предел одновременно активных запросов. Рассчитайте минимум в калькуляторе VRAM, затем измерьте реальную конфигурацию. Если память не проходит, попытка компенсировать это большим числом TFLOPS не решает проблему.

Проверьте программный путь

Ускоритель, драйвер, библиотека вычислений, движок и модель должны образовывать совместимую цепочку. Документация установки vLLM отдельно описывает требования для разных GPU-платформ. 2 Нельзя переносить результат другого стека на свою конфигурацию только потому, что название карты совпадает.

Попросите точные версии, формат квантования и используемые kernels. Если исполнитель меняет backend после демонстрации, результаты приёмки надо переснять. Для закупки также важны воспроизводимость контейнера и возможность отката после обновления.

Параметр	Что он объясняет	Чего не доказывает
VRAM	Возможность размещения	Достаточную скорость
Пропускная способность памяти	Потенциал передачи данных	Итоговые токены в секунду
Поддержка точности	Доступность вычислительного формата	Приемлемое качество модели
Пиковые FLOPS	Теоретический вычислительный предел	Задержку сервиса
Межсоединения	Возможности распределения	Линейное масштабирование

Сравнивайте стоимость полезного результата

Для двух узлов создайте одинаковый поток запросов. Учитывайте только ответы, которые прошли критерии качества и ограничения задержки. Разделите полную стоимость периода на их число. Дополнительно покажите, сколько запросов было отклонено, поставлено в очередь или завершено с ошибкой.

Пример: одна система может выдавать больше суммарных токенов, но задерживать первый ответ так долго, что пользователи закрывают чат. Для пакетной обработки тот же режим может быть выгодным. Поэтому «победитель» определяется задачей, а не максимальной цифрой в отчёте.

Заложите эксплуатационные условия

Проверьте охлаждение, питание, удалённую диагностику и гарантийный маршрут. Нужны ли запасная GPU, второй узел или временная аренда на период ремонта? Если резерв входит в требования бизнеса, включите его в оба сравниваемых варианта.

Начните выбор с короткого описания нагрузки и двух технически допустимых конфигураций. После нагрузочного теста оставьте вариант с понятной стоимостью и запасом. В проекте инференс-инфраструктуры именно эти данные должны определять комплектацию, лимиты сервиса и план расширения.