AMD Instinct MI350X

Что проверено по документации

AMD указывает 288 GB HBM3E, типичную мощность платы 1000 W, OAM-форм-фактор и пиковую пропускную способность памяти 8 TB/s. Это характеристики ускорителя, не измеренная скорость обслуживаемого приложения.

Как переводить ёмкость в пользу

Большая память может позволить использовать менее агрессивное квантование либо увеличить доступный бюджет контекста. Получится ли это в вашей модели, зависит от размещения весов, backend, параметров KV-cache и параллелизма. Некоторые оптимизации требуют конкретной версии библиотек.

Критерии предварительного отбора

Исполнитель должен показать работающую программную матрицу, воспроизводимый запуск и методику испытания. В бриф включают ограничения по мощности, размещению и доступному сервису. Стоимость специалистов по стеку учитывается отдельно от цены ускорителя.

На старте без измеренной нагрузки следует рассматривать пилот, а не принимать размер памяти за основание капитальной закупки. Законность поставки, доступность и региональная поддержка не подтверждены этой карточкой.