网页标题: NVLink 和 NVSwitch：卓越的 HPC 数据中心平台 | NVIDIA

网页链接: https://www.nvidia.cn/data-center/nvlink/

# NVIDIA NVLink 和 NVLink 交换机

高速、多 GPU 通信的基础模组，助力将大型数据集更快地输入模型并在 GPU 之间快速交换数据。

## 速度更快的纵向扩展互连已成为当前的迫切需求

要充分发挥百亿亿级 (Exascale) 计算和万亿参数 AI 模型的潜力，关键在于服务器集群内每个 GPU 实现快速、无缝的通信。第五代 NVIDIA NVLink™ 是一种纵向扩展 (Scale up) 的互连技术，可强劲助力 AI 推理并加速万亿参数推理模型的性能。

## 借助 NVIDIA NVLink 技术最大化地提升系统吞吐量

第五代 NVLink 通过使能 GPU 共享内存和计算资源，大幅提升了更大规模多 GPU 系统的扩展能力，显著优化了训练 (Training)、推理 (Inference) 以及逻辑推理 (Reasoning) 工作流。单个 [NVIDIA Blackwell GPU](https://www.nvidia.cn/data-center/technologies/blackwell-architecture/) 支持多达 18 个 NVLink 100 GB/s 连接，总带宽为 1.8 TB/s，是上一代的 2 倍，是 PCIe 5.0 带宽的 14 倍以上。NVIDIA Blackwell 等服务器平台，利用这项技术为当今极为复杂的大型模型提供更高的可扩展性。

### NVLink 大规模性能

NVIDIA Grace Blackwell 机架式解决方案中的 NVLink 技术将 GPU 间通信带宽提升至前一代的 2 倍，助力研究人员使用更大、更精密的应用程序来解决更复杂的问题。

## 借助 NVLink 通信提高逻辑推理吞吐量

### 使用 NVIDIA NVLink 和 NVLink 交换机完全连接 GPU

NVLink 是一种 GPU 之间的直接互连技术，双向通信速度达 1.8 TB/s，可扩展服务器内的多 GPU 之间的输入/输出 (IO)。NVIDIA NVLink 交换机芯片可连接多个 NVLink，实现在单个机架内和多个机架间以 NVLink 的最高速度进行 all-to-all GPU 通信。

为了支持高速集合运算，每个 NVLink 交换机都配有 NVIDIA SHARP™ 技术引擎，可用于网络内归约和组播加速。

[详细了解 NVLink 和 NVLink 交换机](https://developer.nvidia.com/zh-cn/blog/nvidia-nvlink-and-nvidia-nvswitch-supercharge-large-language-model-inference/)

### 借助 NVLink 交换机系统加速万亿参数模型的测试时逻辑推理

借助 NVLink 交换机，可以跨节点扩展 NVLink 连接，以创建无缝、高带宽、多节点的 GPU 集群，从而有效地形成数据中心大小的 GPU。NVIDIA NVLink 交换机可在一个 NVIDIA Grace Blackwell 机架式解决方案中实现 130TB/s 的 GPU 带宽，以实现大型模型并行。采用 NVLink 的多服务器集群可在计算增加时平衡 GPU 通信，高效构建机架式解决方案，支持的 GPU 数量达到单个 8-GPU 系统的 9 倍。

### NVIDIA NVLink 交换机

NVIDIA NVLink 5 交换机配备 144 个 NVLink 端口，无阻塞交换能力为 14.4 TB/s。机架交换机可为 NVIDIA GB300 NVL72 系统提供高带宽和低延迟，支持第五代外部 NVLink 连接。

## NVIDIA NVLink Fusion

NVIDIA NVLink™ Fusion 为自定义计算提供行业领先的 AI 性能扩展，使超大规模企业能够使用 NVIDIA NVLink 技术和机架级扩展架构构建通用 AI 基础设施。

[了解详情](https://www.nvidia.cn/data-center/nvlink-fusion/)

---

## 从企业级计算扩展至百亿亿次级 (Exascale) 计算

### 通过完全连接实现非凡性能

NVLink 交换机是首款 ASIC 芯片技术机架级交换机，能够在无阻塞计算结构中支持多达 576 个全连接 GPU。NVLink 交换机能以惊人的 1800GB/s 的速度互连每对 GPU。它还支持完整的多对多通信。NVIDIA GB300 NVL72 系统中的 72 个 GPU 可用作单个高性能加速器，拥有高达 1.4 exaFLOPS 的 AI 计算能力。

### 功能强大的 AI 和 HPC 平台

NVLink 和 NVLink 交换机是整个 NVIDIA 数据中心解决方案的必要基础模组，该解决方案融合了来自 NVIDIA AI Enterprise 软件套件和 NVIDIA NGC™ 目录中的硬件、网络、软件、库以及优化的 AI 模型和应用。作为强大的端到端 AI 和高性能计算平台，它让研究人员能够更快地得到真实的结果，并能将解决方案部署到生产环境中，从而在各种规模上实现出色的加速。

## 规格

1. NVLink
2. NVLink 交换机

|  | 第三代 | 第四代 | 第五代 |
| --- | --- | --- | --- |
| NVLink 总带宽 | 600GB/s | 900GB/s | 1,800GB/s |
| 每个 GPU 最大链路数 | 12 | 18 | 18 |
| NVIDIA 架构支持 | NVIDIA Ampere 架构 | NVIDIA Hopper™ 架构 | NVIDIA Blackwell 架构 |

|  | NVLink 3 交换机 | NVLink 4 交换机 | NVLink 5 交换机 |
| --- | --- | --- | --- |
| 一个 NVLink 域内直连 GPU 的数量 | 最多 8 个 | 最多 8 个 | 最多 576 个 |
| NVSwitch GPU 之间带宽 | 600GB/s | 900GB/s | 1,800GB/s |
| 聚合总带宽 | 4.8TB/s | 7.2TB/s | 1PB/s |
| NVIDIA 架构支持 | NVIDIA Ampere 架构 | NVIDIA Hopper™ 架构 | NVIDIA Blackwell 架构 |

初步规格，可能会有所变更

深入研究 NVIDIA Blackwell 架构

[了解详情](https://www.nvidia.cn/data-center/technologies/blackwell-architecture/)