10. NVLINK SWITCH システム
最大 256 GPU を接続するマルチノード NVLink
第 4 世代 NVLink
900 GB/s from 18x25GB/sec bi-directional ports
GPU-2-GPU connectivity across nodes
第 3 世代 NVSwitch
All-to-all NVLink switching for 8-256 GPUs
Accelerate collectives - multicast and SHARP
NVLINK SWITCH
128 port cross-connect based on NVSwitch
H100 クラスター (1 スケーラブル ユニット)
57,600 GB/s all-to-all bandwidth
32 servers | 18 NVLink switches | 1,152 NVLink optical cables
11. NVIDIA QUANTUM-2 IN-NETWORK COMPUTING
QUANTUM-2 SWITCH
SHARPv3 Small Message Data Reductions
SHARPv3 Large Message Data Reductions
CONNECTX-7 INFINIBAND
16 Core / 256 Threads Datapath Accelerator
Full Transport Offload and Telemetry
Hardware-Based RDMA / GPUDirect
MPI Tag Matching and All-to-All
BLUEFIELD-3 INFINIBAND
16 Arm 64-Bit Cores
16 Core / 256 Threads Datapath Accelerator
Full Transport Offload and Telemetry
Hardware-Based RDMA / GPUDirect
Computational Storage
Security Engines
MPI Tag Matching and All-to-All
Optimized Multi-Tenant In-Network Computing
12. インターコネクトとスケーラビリティー(H100の場合)
~8 GPU ~256 GPU …and more
NVSwitch NVLink Switch Quantum-2 InfiniBand
900GB/s bi-directional (2:1 oversub for inter-nodes) 100GB/s bi-directional (400Gbps x 2)
with NVIDIA SHARP In-Network Computing engines
16. H100 CNX コンバージド アクセラレーター
メインストリーム サーバーに高速な GPU – ネットワーク I/O を提供
伝統的なサーバー アクセラレーテッド コンピューティングに最適化
H100 CNX
Memory
CPU
ConnectX-7
Gen-4
GPU
Gen-5
Memory
CPU
ConnectX-7
Gen-4
GPU
350W | 80GB | 400 Gb/s Eth or IB
PCIe Gen 5 within board and to host
2-Slot FHFL | NVLink
17. H100 CNX ユースケース
5G 信号処理
High performance in commodity
servers
マルチノード トレーニング
Excellent performance and
scalability
AI ON 5G
5G processing and AI services on
a single commodity server
提供可能時期:
• Mass Production in Q3
• NVIDIA-Certified Servers in Q4