NVIDIA H100 SXM

Не смешивать модификации

В этой карточке приведены характеристики H100 SXM. В таблице NVIDIA у него 80 GB памяти, тогда как H100 NVL описан отдельно с 94 GB на ускоритель. Эти варианты отличаются форм-фактором, питанием и межсоединениями.

Что значат спецификации для проекта

80 GB определяют предел хранения весов, KV-cache и служебных буферов одного ускорителя. Пропускная способность памяти и NVLink помогают оценить архитектурные ограничения, но не сообщают количество поддерживаемых пользователей. Для этого нужны входная/выходная длина, параллельность, требуемая задержка и работающий backend.

Установка требует совместимой системы HGX/DGX или другой подтверждённой платформы. CPU, RAM, накопители и внешняя сеть являются частью проекта, а не характеристиками самого GPU.

Практическая альтернатива

Сравните с H200 по необходимой памяти и фактическому TCO. Если нагрузка неопределённа, сравнение на арендуемом пилоте уменьшает риск покупки лишних ресурсов. Цены и законность поставки определяются по конкретному предложению.