Профессиональная видеокарта nvidia H100 NVL 94GB HBM3 900-21010-0020-000

Видеокарта NVIDIA H100 NVL 94GB HBM3 — двухчиповый ускоритель для инференса больших языковых моделей

NVIDIA H100 NVL 94GB HBM3 — это уникальный профессиональный серверный ускоритель, построенный на передовой архитектуре NVIDIA Hopper с применением 4-нм техпроцесса TSMC [citation:3]. В отличие от стандартных моделей H100, версия NVL представляет собой логическое объединение двух GPU GH100 на одной плате с помощью высокоскоростного NVLink-соединения, что позволяет операционной системе и приложениям использовать суммарный объем памяти и вычислительную мощность обеих карт как единый ресурс [citation:10].

Модель с артикулом 900-21010-0020-000 представляет собой OEM-версию в форм-факторе PCIe 5.0 x16 [citation:2][citation:4][citation:8]. Видеокарта оснащена суммарными 94 ГБ памяти HBM3 с поддержкой ECC, обеспечивающей пропускную способность 3.9 ТБ/с, и предназначена для самых требовательных задач: инференса больших языковых моделей (LLM), генеративного ИИ, научных вычислений и высокопроизводительных расчетов (HPC) [citation:1][citation:3][citation:6].

Основные характеристики

• Тип: Серверный графический ускоритель (Data Center GPU) для ИИ, HPC и инференса LLM
• Модель: NVIDIA H100 NVL 94GB (артикул 900-21010-0020-000) [citation:1][citation:4]
• Архитектура: NVIDIA Hopper (4 нм техпроцесс) [citation:3]
• Графический процессор: 2x GH100 [citation:10]
• Количество ядер CUDA (суммарно): 14 592 [citation:2][citation:3]
• Количество тензорных ядер (суммарно): 456 (4-го поколения) [citation:3][citation:7]
• Количество RT-ядер (суммарно): 144 [citation:3]
• Объем видеопамяти (суммарный): 94 ГБ HBM3 с поддержкой ECC [citation:1][citation:2][citation:3]
• Шина памяти (суммарная): 6016 бит [citation:1][citation:2][citation:3]
• Пропускная способность памяти (суммарная): 3.9 ТБ/с (3,938-3,937 ГБ/с) [citation:1][citation:2][citation:3]
• Базовая частота GPU: 1,080-1,665 МГц [citation:2][citation:3]
• Частота GPU в режиме Boost: 1,785-1,837 МГц [citation:1][citation:2][citation:3]
• Пиковая производительность FP8 Tensor Core: 7,916 TFLOPS [citation:3][citation:10]
• Пиковая производительность FP16/BFLOAT16 Tensor Core: 3,958 TFLOPS [citation:10]
• Пиковая производительность FP32: 62-134 TFLOPS [citation:3][citation:6][citation:10]
• Пиковая производительность FP64: 31-68 TFLOPS [citation:3][citation:6][citation:10]
• Интерфейс: PCI Express 5.0 x16 [citation:2][citation:3][citation:4]
• Форм-фактор: Двухслотовый (Dual-slot), полноразмерный (Full Height, Full Length), длина 267 мм, высота 112 мм [citation:2][citation:3]
• Система охлаждения: Пассивная (требуется обдув корпусными вентиляторами сервера) [citation:1][citation:2][citation:3]
• Максимальное энергопотребление (TDP): 350-400 Вт (настраиваемое) [citation:3][citation:6][citation:7]
• Разъемы дополнительного питания: 1 x 16-pin (12VHPWR) [citation:2][citation:3]
• Multi-Instance GPU (MIG): Да, до 7 экземпляров [citation:1][citation:4]
• NVLink: Поддерживается, до 600 ГБ/с (требуется 3 NVLink Bridge на пару) [citation:2][citation:3][citation:10]
• Видеовыходы: Отсутствуют (чисто вычислительный ускоритель) [citation:3][citation:8]
• Программное обеспечение: NVIDIA AI Enterprise (5-летняя подписка при активации) [citation:4]

Назначение и особенности

NVIDIA H100 NVL разработана специально для решения самых сложных задач в центрах обработки данных, особенно для инференса больших языковых моделей [citation:5][citation:9][citation:10]. Ключевые области применения:

• Инференс больших языковых моделей (LLM) и генеративный ИИ: Благодаря архитектуре, объединяющей два GPU, карта обеспечивает до 10-12x более высокую производительность GPT-175B по сравнению с системами DGX A100, что делает её идеальной для работы с ChatGPT и подобными моделями [citation:5][citation:9][citation:10].
• Высокопроизводительные вычисления (HPC): Производительность FP64 до 68 TFLOPS для научных и инженерных расчетов [citation:10].
• Масштабируемые кластеры: Технология NVLink с пропускной способностью 600 ГБ/с позволяет объединять пары карт для создания суперкомпьютерных систем [citation:2][citation:3][citation:10].
• Виртуализация и многопользовательские среды: Технология Multi-Instance GPU (MIG) позволяет разделять ресурсы карты на до 7 изолированных экземпляров с гарантированным качеством обслуживания [citation:1][citation:4][citation:10].

Возможности и технологии

• Архитектура NVIDIA Hopper: Обеспечивает до 30x более быстрый инференс больших языковых моделей по сравнению с предыдущим поколением [citation:9].
• Тензорные ядра четвертого поколения (456 шт.): Поддержка FP8 точности и Transformer Engine для максимального ускорения трансформерных моделей [citation:3][citation:10].
• 94 ГБ памяти HBM3 с ECC: Уникальный суммарный объем памяти позволяет работать с моделями до 175B параметров на одном логическом устройстве без необходимости распределения между отдельными картами [citation:5][citation:9][citation:10].
• Пропускная способность 3.9 ТБ/с: 6016-битная шина памяти обеспечивает скорость доступа, необходимую для интенсивных вычислений и работы с большими данными [citation:1][citation:2][citation:3].
• PCI Express 5.0 x16: Удвоенная пропускная способность интерфейса по сравнению с PCIe 4.0 (до 128 ГБ/с) для быстрого обмена данными с CPU [citation:2][citation:3][citation:4].
• NVLink 3-го поколения: Высокоскоростное соединение между GPU с пропускной способностью 600 ГБ/с для масштабирования производительности в многокарточных конфигурациях [citation:2][citation:3][citation:10].
• Безопасность корпоративного уровня: Технологии Secure Boot и аппаратного корня доверия [citation:4].
• Аппаратное кодирование/декодирование: 7 декодеров NVDEC 4-го поколения и 7 декодеров JPEG на каждый GPU [citation:3][citation:10].

Особенности OEM-версии (артикул 900-21010-0020-000)

• OEM-комплектация: Версия предназначена для системных интеграторов и производителей серверов. Поставляется в упрощенной упаковке (Bulk) без дополнительных аксессуаров [citation:3][citation:4].
• Уникальная конструкция: В отличие от стандартных моделей, H100 NVL физически представляет собой две платы или один двухчиповый модуль с предустановленным NVLink-мостом [citation:10].
• Энергоэффективность: При TDP 350-400 Вт карта обеспечивает исключительную производительность на ватт для задач инференса LLM [citation:3][citation:6][citation:7].

Технические характеристики (подробно)

Графический процессор и память

• Архитектура: NVIDIA Hopper
• Кодовое имя GPU: GH100
• Техпроцесс: 4 нм TSMC
• Количество ядер CUDA (суммарно): 14 592
• Количество тензорных ядер: 456 (4-го поколения)
• Количество RT-ядер: 144
• Кэш-память L2: 50 МБ
• Объем видеопамяти: 94 ГБ HBM3 с поддержкой ECC
• Шина памяти: 6016 бит
• Пропускная способность памяти: 3.9 ТБ/с (3,937 ГБ/с)

Производительность (суммарная)

• Пиковая производительность FP8 Tensor Core: 7,916 TFLOPS [citation:3][citation:10]
• Пиковая производительность BFLOAT16 Tensor Core: 3,958 TFLOPS [citation:10]
• Пиковая производительность FP16 Tensor Core: 3,958 TFLOPS [citation:10]
• Пиковая производительность INT8 Tensor Core: 7,916 TOPS [citation:3][citation:10]
• Пиковая производительность FP64 (двойная точность): 68 TFLOPS [citation:10]
• Пиковая производительность FP32 (одинарная точность): 134 TFLOPS [citation:10]

Физические характеристики и энергопотребление

• Максимальное энергопотребление (TDP): 350-400 Вт [citation:3][citation:6][citation:7]
• Разъемы дополнительного питания: 1 x 16-pin (12VHPWR) [citation:2][citation:3]
• Рекомендуемая мощность блока питания: от 850 Вт (для системы с одной картой)
• Тип охлаждения: Пассивное (требуется обдув корпусными вентиляторами) [citation:1][citation:2][citation:3]
• Количество занимаемых слотов: 2 [citation:2][citation:3][citation:8]
• Длина карты: 267 мм [citation:2][citation:3]
• Высота карты: 112 мм [citation:2][citation:3]
• Ширина карты: 42 мм [citation:2]
• Видеовыходы: Отсутствуют [citation:3][citation:8]

Поддерживаемые технологии

• Multi-Instance GPU (MIG): Да, до 7 экземпляров [citation:1][citation:4][citation:10]
• NVLink: Да, до 600 ГБ/с [citation:2][citation:3][citation:10]
• Поддержка виртуализации (vGPU): NVIDIA Virtual Compute Server (vCS)
• Поддержка CUDA: Да (Compute Capability 9.0)
• NVDEC: 14x 4-го поколения [citation:3][citation:10]
• JPEG декодеры: 14x [citation:3][citation:10]

Комплектация (900-21010-0020-000)

Данный артикул представляет собой OEM-версию для системных интеграторов и производителей серверов [citation:4]. Комплектация включает:

• Графический процессор NVIDIA H100 NVL 94GB HBM3
• Пассивная система охлаждения (интегрирована)
• Полноразмерная крепежная планка (Full Height)

Важно: Карта поставляется с предустановленным NVLink-мостом, так как является единым логическим устройством, состоящим из двух GPU [citation:2][citation:10].

Где применяется NVIDIA H100 NVL

• Дата-центры и облачные платформы: Развертывание мощных систем для инференса GPT-175B и других больших языковых моделей [citation:5][citation:9][citation:10].
• Научно-исследовательские институты: Высокопроизводительные вычисления, моделирование климата, геномные исследования, физика высоких энергий [citation:3][citation:6].
• Университеты и академические центры: Обучение и инференс самых передовых моделей ИИ.
• Корпоративные ЦОД: Развертывание внутренних платформ для ИИ-разработки и инференса mission-critical приложений.
• Специализированные серверы: Установка в серверные платформы, такие как Dell XE9680 и аналогичные, спроектированные для работы с такими мощными ускорителями [citation:10].

Почему стоит выбрать NVIDIA H100 NVL

• Максимальная производительность для LLM-инференса: Специализированное решение для работы с большими языковыми моделями, обеспечивающее до 12x более высокую производительность по сравнению с предыдущим поколением [citation:5][citation:9][citation:10].
• Уникальная архитектура с двумя GPU: Объединение двух мощных процессоров Hopper на одной плате с суммарным объемом памяти 94 ГБ и NVLink-соединением 600 ГБ/с [citation:10].
• Рекордный объем памяти для PCIe-карты: 94 ГБ HBM3 позволяет работать с самыми крупными моделями без необходимости распределения между отдельными картами [citation:5][citation:9][citation:10].
• Гибкость и масштабируемость: Поддержка MIG до 7 экземпляров и возможность объединения в кластеры через NVLink [citation:1][citation:2][citation:3].
• Энергоэффективность: При TDP 350-400 Вт карта обеспечивает исключительную производительность на ватт, снижая эксплуатационные расходы [citation:3][citation:6][citation:7].

Часто задаваемые вопросы