Профессиональная видеокарта AMD Radeon Iinct MI300X OAM 192 GB 100-300000045H

Видеокарта AMD Radeon Instinct MI300X OAM 192GB — флагманский ускоритель для генеративного ИИ и HPC

AMD Radeon Instinct MI300X — это флагманский серверный графический процессор (GPU), построенный на передовой архитектуре AMD CDNA 3 с применением 5-нм техпроцесса . Представленный в декабре 2023 года, этот ускоритель предназначен для самых требовательных центров обработки данных, объединяя рекордный объем памяти и выдающуюся производительность для задач генеративного ИИ, инференса больших языковых моделей (LLM), научных вычислений и высокопроизводительных расчетов (HPC) [citation:2][citation:3][citation:4].

Модель с артикулом 100-300000045H представляет собой OEM-версию в форм-факторе OAM (OCP Accelerator Module), предназначенную для установки в высокоплотные серверные платформы, такие как Universal Baseboard (UBB 2.0) с 8 ускорителями . Видеокарта использует инновационную многокристальную компоновку (MCM) с 8 вычислительными чипами (XCD) и 4 чипами ввода-вывода, соединенными через 3.5D-технологию упаковки и Infinity Fabric [citation:3][citation:4].

MI300X оснащена 19 456 потоковыми процессорами, 1216 матричными ядрами и 192 ГБ высокоскоростной памяти HBM3 с 8192-битной шиной, обеспечивающей пропускную способность 5.3 ТБ/с — в 1.6 раза больше, чем у H100 [citation:1][citation:2][citation:10]. Это позволяет запускать модели с 2900亿 параметров на одной платформе с 8 GPU [citation:3].

Основные характеристики

• Тип: Серверный графический ускоритель (Data Center GPU) для ИИ, HPC и генеративных задач [citation:2]
• Архитектура: AMD CDNA 3 (5 нм техпроцесс) [citation:2]
• Графический процессор: Aqua Vanjaram (MCM, 8 XCD + 4 IOD) [citation:2][citation:9]
• Количество транзисторов: 153 000 млн [citation:2][citation:3]
• Площадь кристалла: 1017 мм² [citation:2]
• Количество вычислительных блоков (Compute Units): 304 [citation:2][citation:4]
• Количество потоковых процессоров (Stream Processors): 19 456 [citation:2][citation:4]
• Количество текстурных блоков (TMUs): 1 216 [citation:2]
• Количество матричных ядер (Matrix Cores): 1 216 [citation:2][citation:4]
• Кэш-память L1: 4.8 МБ [citation:7]
• Кэш-память L2: 16 МБ [citation:2][citation:7]
• Кэш-память L3 (Infinity Cache): 256 МБ [citation:2][citation:4]
• Объем видеопамяти: 192 ГБ HBM3 с поддержкой ECC [citation:1][citation:2]
• Шина памяти: 8 192 бит [citation:2][citation:7]
• Эффективная частота памяти: 2 525 МГц (10.1 Гбит/с) [citation:2]
• Пропускная способность памяти: 5.3 ТБ/с (5,171 ГБ/с) [citation:1][citation:10]
• Базовая частота GPU: 1 000 МГц [citation:2]
• Частота GPU в режиме Boost: 2 100 МГц [citation:2]

Производительность

• Пиковая производительность FP64 (векторная): 81.7 TFLOPS [citation:1][citation:10]
• Пиковая производительность FP64 (матричная): 163.4 TFLOPS [citation:1][citation:4]
• Пиковая производительность FP32 (векторная): 163.4 TFLOPS [citation:1]
• Пиковая производительность FP32 (матричная): 163.4 TFLOPS [citation:1]
• Пиковая производительность FP16/BF16 (с разреженностью): 2 614.9 TFLOPS [citation:1][citation:10]
• Пиковая производительность INT8 (с разреженностью): 2 614.9 TOPS [citation:10]
• Пиковая производительность FP8 (с разреженностью): 5 229.8 TFLOPS [citation:1]
• Пиковая производительность TF32 (с разреженностью): 1 307.4 TFLOPS [citation:1][citation:10]
• Скорость заполнения текстур (Texel fill rate): 2 554 GTexel/с [citation:2]

Физические характеристики и энергопотребление

• Максимальное энергопотребление (TDP): 750 Вт [citation:2][citation:4]
• Рекомендуемая мощность блока питания (для системы с одной картой): от 1150 Вт [citation:2]
• Тип охлаждения: Пассивное (требуется мощный обдув корпусными вентиляторами или жидкостное охлаждение в составе сервера) [citation:2]
• Количество занимаемых слотов: OAM Module [citation:2]
• Интерфейс: PCI Express 5.0 x16 [citation:2]
• Infinity Fabric Links: 7 линков, суммарная пропускная способность до 896 ГБ/с (8-GPU платформа) [citation:3][citation:4]
• Видеовыходы: Отсутствуют (чисто вычислительный ускоритель) [citation:2][citation:7]

Поддерживаемые технологии

• Программное обеспечение: AMD ROCm 5.0+ [citation:4][citation:10]
• API поддержка: OpenCL 3.0 [citation:2]
• Виртуализация: SR-IOV с поддержкой до 8 разделов [citation:4][citation:10]
• RAS функции: Полная поддержка ECC-памяти, ремаппинг страниц [citation:10]
• Кодеки: Аппаратная поддержка HEVC/H.265, AVC/H.264, VP9, AV1 [citation:10]
• Форм-фактор: OAM (OCP Accelerator Module) совместимый с UBB 2.0 [citation:4][citation:5]

Архитектура и ключевые технологии

Многокристальная компоновка (MCM)

MI300X использует инновационную 3.5D-упаковку, объединяющую 8 вычислительных чипов (XCD) на 4 чипах ввода-вывода (IOD) . Это позволяет масштабировать производительность и обойти ограничения традиционной монолитной архитектуры [citation:3][citation:4][citation:9].

Infinity Architecture

Чипы соединяются через Infinity Fabric 4-го поколения, обеспечивая когерентность кэша и высокоскоростной обмен данными. В 8-GPU платформе суммарная пропускная способность межсоединений достигает 896 ГБ/с [citation:3][citation:4][citation:10].

Память и кэш

• 192 ГБ HBM3: Крупнейший объем памяти в классе серверных GPU, позволяющий загружать модели с 70B+ параметров целиком в память одного ускорителя [citation:1][citation:3].
• 5.3 ТБ/с пропускная способность: 8192-битная шина обеспечивает скорость доступа, необходимую для интенсивных вычислений [citation:1][citation:10].
• 256 МБ Infinity Cache: Эффективно снижает задержки и повышает энергоэффективность при работе с данными [citation:4][citation:6].

Матричные ядра CDNA 3

• Поддержка форматов FP8 (E5M2/E4M3) для ускорения инференса и обучения [citation:4].
• В 6.8 раза более высокая производительность INT8 по сравнению с предыдущим поколением [citation:4].
• Аппаратная поддержка разреженности (sparsity) для удвоения производительности [citation:1][citation:10].

Сравнение с конкурентами

По данным AMD, MI300X обеспечивает [citation:1][citation:3][citation:8]:

• 1.3x более высокую производительность AI (TF32/FP16/FP8) по сравнению с NVIDIA H100 SXM5 [citation:1].
• 2.4x более высокую производительность HPC (FP64/FP32) по сравнению с H100 [citation:1].
• 2.4x больший объем памяти (192 ГБ против 80 ГБ) [citation:1][citation:3].
• 1.6x более высокую пропускную способность памяти (5.3 ТБ/с против 3.35 ТБ/с) [citation:1].
• В инференсе Bloom-176B 8-GPU платформа MI300X показывает до 1.6x более высокую производительность, чем HGX H100 [citation:3][citation:4].

Серверные платформы на базе MI300X

AMD Instinct MI300X устанавливается в 8-GPU платформы на базе Universal Baseboard (UBB 2.0) [citation:5][citation:6]:

• Supermicro AS-8125GS-TNMR2: 6U сервер с 8 GPU MI300X и двумя AMD EPYC 9004 [citation:4].
• Dell PowerEdge XE9680: 6U сервер с 8 GPU MI300X [citation:4].
• Lenovo ThinkSystem: 8-GPU платформа на базе EPYC [citation:4].
• Microsoft Azure ND MI300X v5: Облачный инстанс с 8 GPU MI300X [citation:4].
• Oracle Cloud Infrastructure Supercluster: Базовые инстансы с RDMA-сетью [citation:4].

Комплектация (100-300000045H)

OEM-версия (артикул 100-300000045H) предназначена для системных интеграторов и производителей серверов . Комплектация включает:

• Графический процессор AMD Radeon Instinct MI300X OAM
• Пассивная система охлаждения (интегрирована)

Где применяется AMD Radeon Instinct MI300X

• AI-фабрики и дата-центры: Развертывание масштабируемых кластеров для обучения и инференса больших языковых моделей (LLM) [citation:3][citation:10].
• Генеративный ИИ: Обработка мультимодальных моделей, генерация изображений и видео с поддержкой FP8 [citation:1][citation:4].
• Облачные провайдеры: Microsoft Azure, Oracle Cloud, Meta развертывают сервисы на базе MI300X [citation:3][citation:4].
• Научные исследования: Высокопроизводительные вычисления, моделирование климата, геномные исследования [citation:5][citation:10].
• Корпоративные ЦОД: Развертывание внутренних платформ для mission-critical бизнес-задач [citation:4].

Почему стоит выбрать AMD Radeon Instinct MI300X

• Рекордный объем памяти (192 ГБ HBM3): Крупнейший объем памяти среди всех доступных серверных GPU, позволяющий загружать модели с 2900亿 параметров [citation:1][citation:3].
• Выдающаяся производительность ИИ: 5.2 PFLOPS FP8 с матричными ядрами CDNA 3 и поддержкой разреженности [citation:1][citation:10].
• Лидерство в HPC: 163.4 TFLOPS FP64 обеспечивают лучшую в классе производительность для научных вычислений [citation:1][citation:4].
• Масштабируемость через Infinity Fabric: 8-GPU платформа с суммарным объемом 1.5 ТБ HBM3 и пропускной способностью 896 ГБ/с между GPU [citation:3][citation:5].
• Экосистема ROCm: Полная поддержка PyTorch, TensorFlow, JAX с открытыми исходными кодами и оптимизированными библиотеками [citation:4][citation:10].
• Экономическая эффективность: При цене $2.50/GPU/hr в облаке, MI300X предлагает более низкую стоимость за токен по сравнению с конкурентами [citation:10].

Часто задаваемые вопросы