Серверная видеокарта nvidia A100 Baseboard 8x80GB A100 Baseboard 8x80GB

Серверная платформа NVIDIA HGX A100 8x80GB — эталон производительности для AI и HPC

NVIDIA HGX A100 8-GPU Baseboard с 80 ГБ памяти — это высокопроизводительная серверная платформа (базовая плата), разработанная для центров обработки данных и оснащенная восемью графическими процессорами NVIDIA A100 Tensor Core в форм-факторе SXM4 . Данная конфигурация с 80 ГБ HBM2e на GPU представляет собой эволюционное развитие платформы, предлагая вдвое больший объем памяти по сравнению с версией 40 ГБ и обеспечивая пропускную способность до 2 ТБ/с на каждый ускоритель .

Платформа использует архитектуру NVIDIA Ampere (7 нм) и обеспечивает непревзойденную производительность благодаря полносвязной топологии NVSwitch, позволяющей любому GPU обмениваться данными с любым другим на скорости до 600 ГБ/с . Это решение предназначено для самых требовательных задач: обучения больших языковых моделей (LLM), научных симуляций, анализа больших данных и высокопроизводительных вычислений .

Основные характеристики платформы

• Тип: Серверная платформа (GPU baseboard) для ЦОД и суперкомпьютеров
• Модель: NVIDIA HGX A100 8-GPU Baseboard ("Delta" platform)
• Графические процессоры: 8 x NVIDIA A100 Tensor Core (архитектура Ampere, 7 нм техпроцесс)
• Количество ядер CUDA (на GPU): 6 912 (суммарно 55 296)
• Количество тензорных ядер (на GPU): 432 (3-го поколения)
• Объем видеопамяти (на GPU): 80 ГБ HBM2e с поддержкой ECC
• Суммарный объем памяти: 640 ГБ HBM2e
• Пропускная способность памяти (на GPU): 2,039 ГБ/с
• Производительность FP64 (на GPU): 9.7 TFLOPS
• Производительность FP32 (на GPU): 19.5 TFLOPS
• Производительность FP16 Tensor Core (на GPU): 624 TFLOPS (со структурной разреженностью)
• Производительность INT8 Tensor Core (на GPU): 1,248 TOPS (со структурной разреженностью)
• Интерконнект GPU: NVLink 3-го поколения через NVSwitch
• Пропускная способность NVLink: 600 ГБ/с (между GPU)
• Интерфейс к CPU: PCI Express 4.0 x16 (до 4 линков на GPU)
• Энергопотребление GPU: 400 Вт (на GPU)
• Система охлаждения: Пассивная (требуется мощный обдув или жидкостное охлаждение в составе сервера)
• Multi-Instance GPU (MIG): До 7 экземпляров на один GPU (до 56 экземпляров суммарно), каждый с 10 ГБ памяти
• Типовые артикулы (MPN): 935-23587-0000-201 (Exxact)

Ключевые преимущества версии 80 ГБ

По сравнению с версией 40 ГБ, платформа с 80 ГБ памяти на GPU предлагает ряд существенных улучшений :

• Удвоенный объем памяти: Суммарные 640 ГБ HBM2e позволяют работать с моделями и датасетами, не помещающимися в 40 ГБ версию, и эффективнее использовать методы параллелизма .
• Повышенная пропускная способность: 2,039 ГБ/с на GPU (против 1,555 ГБ/с у версии 40 ГБ) обеспечивает более быструю подкачку данных для вычислений .
• Ускорение обучения LLM: Для больших языковых моделей (GPT-3, GPT-2) обеспечивает до 3x более высокую производительность обучения, позволяя размещать больше параметров модели в памяти одного сервера .
• Улучшенная производительность инференса: Для задач автоматического распознавания речи (RNN-T) MIG-экземпляры с 10 ГБ памяти обслуживают значительно большие размеры батчей, обеспечивая в 1.25x более высокую пропускную способность инференса .
• Ускорение научных приложений: В симуляциях материаловедения (Quantum Espresso) достигнут прирост производительности почти в 2 раза на одном узле .
• Аналитика больших данных: В задачах ритейла с терабайтными датасетами производительность увеличивается до 2 раз .

Архитектура NVLink и NVSwitch

Ключевое преимущество 8-GPU версии HGX A100 ("Delta" platform) перед 4-GPU версией ("Redstone") и PCIe-версиями заключается в использовании технологии NVSwitch :

• NVSwitch: Шесть NVSwitch создают полносвязную топологию, позволяющую любому GPU общаться с любым другим на скорости 600 ГБ/с — в 10 раз быстрее PCIe Gen4 .
• Улучшенное охлаждение: В версии для A100 80ГБ радиаторы NVSwitch стали выше, с большим количеством ребер и 14 медными тепловыми трубками для отвода увеличенного тепловыделения .
• Единое адресное пространство: Упрощает программирование и позволяет эффективно реализовывать модели параллелизма для масштабируемых приложений .

Технические характеристики (подробно)

Графические процессоры

• Архитектура: NVIDIA Ampere
• Кодовое имя GPU: GA100
• Техпроцесс: 7 нм TSMC
• Количество GPU: 8 (в конфигурации SXM4)
• Количество ядер CUDA (на GPU): 6 912
• Количество тензорных ядер (на GPU): 432 (3-го поколения)
• Кэш-память L2 (на GPU): 40 МБ

Память (на GPU)

• Объем видеопамяти: 80 ГБ HBM2e с поддержкой ECC
• Пропускная способность памяти: 2,039 ГБ/с

Производительность (на GPU)

• Пиковая производительность FP64: 9.7 TFLOPS
• Пиковая производительность FP64 Tensor Core: 19.5 TFLOPS
• Пиковая производительность FP32: 19.5 TFLOPS
• Пиковая производительность TF32 Tensor Core: 312 TFLOPS (со структурной разреженностью)
• Пиковая производительность BFLOAT16 Tensor Core: 624 TFLOPS (со структурной разреженностью)
• Пиковая производительность FP16 Tensor Core: 624 TFLOPS (со структурной разреженностью)
• Пиковая производительность INT8 Tensor Core: 1,248 TOPS (со структурной разреженностью)
• Пиковая производительность INT4 Tensor Core: 2,496 TOPS (со структурной разреженностью)

Интерконнект и интерфейсы

• NVLink: 3-го поколения, 600 ГБ/с (би-дирекционально) между GPU
• NVSwitch: 6 шт., 2-го поколения
• Интерфейс к CPU: PCI Express 4.0 x16 (до 4 линков на GPU)

Физические характеристики и энергопотребление

• Энергопотребление (на GPU): 400 Вт (стандартная конфигурация), до 500 Вт в специальных CTS-версиях
• Тип охлаждения: Пассивное (требуется мощный обдув или жидкостное охлаждение)

Серверные платформы на базе HGX A100 8x80GB

NVIDIA HGX A100 Baseboard устанавливается в готовые серверные решения от ведущих производителей, включая:

• GIGABYTE G492-ZL2 — 4U сервер с жидкостным охлаждением для HGX A100 8x80GB
• Inspur NF5488A5 — 4U сервер с поддержкой 8x A100 80GB SXM4
• Supermicro SYS-420GP-TNAR+ — 4U GPU сервер с HGX A100 8x80GB
• Oracle Cloud Infrastructure BM.GPU.GM4.8 — bare-metal инстанс с 8x A100 80GB в облаке Oracle
• NVIDIA DGX A100 — интегрированная система с 8x A100 80GB

Почему стоит выбрать NVIDIA HGX A100 8x80GB

• Максимальная производительность для LLM: Обеспечивает до 3x более высокую производительность обучения больших языковых моделей по сравнению с версией 40 ГБ .
• Рекордный суммарный объем памяти (640 ГБ): Позволяет работать с моделями и датасетами, недоступными для предыдущих поколений .
• Гибкость конфигураций через MIG: До 56 изолированных экземпляров (по 10 ГБ каждый) для эффективного использования ресурсов в многопользовательских средах .
• Масштабируемость: Возможность объединения тысяч GPU в кластеры с использованием высокоскоростных сетей InfiniBand 200-400 Гбит/с и технологий GPUDirect RDMA .
• Проверенная экосистема: Полная интеграция с CUDA-X, NVIDIA AI Enterprise и оптимизация всеми ведущими фреймворками глубокого обучения .

Часто задаваемые вопросы