AMD Instinct MI325X

Сначала совместимость программного стека

MI325X имеет 256 GB HBM3E и относится к архитектуре CDNA 3. Большой объём памяти делает платформу интересной для сравнения крупных моделей, но сам по себе не решает вопросы производительности и переносимости CUDA-зависимостей.

Что необходимо проверить

Точную матрицу поддержки ОС, драйверов, ROCm, фреймворка и serving backend. Составьте небольшой тест с вашей моделью, квантованием, используемыми операторами и требованиями к задержке. Рабочий запуск одной библиотеки не подтверждает совместимость всего приложения.

OAM-модуль устанавливается на совместимую платформу, а не в произвольный PCIe-слот рабочей станции. Мощность и охлаждение проектируются для полного узла. Отдельно проверяется сеть, если модель распределяется между серверами.

Как оценить выбор

Стоимость миграции и поддержки включается в TCO вместе с оборудованием и электричеством. Сравнение с NVIDIA должно использовать одинаковый прикладной результат и качество, а не только пиковые вычислительные характеристики. Смотрите разбор ROCm.