Ethernet vs InfiniBand：AI GPU Cluster 高速网络怎么选？｜技术年份：2023

当 AI Training 从几台 GPU Server 扩展到数百、数千甚至更大型的 GPU Cluster 后，Scale-Out Network 会直接影响 GPU Utilization、Collective Communication 与整体 Job Completion Time。

目前 AI Backend Network 最常讨论的两大方向就是：

InfiniBand

与：

Ethernet-based AI Networking

但这并不是「一个专业、一个普通」的简单比较。

InfiniBand 本身就是为高效能、低延迟 RDMA Fabric 发展的互连架构；Ethernet 则透过 RoCE、AI-optimized Congestion Control、Multipathing 与 Ultra Ethernet 等技术，持续强化 AI／HPC Scale-Out 能力。IBTA 与 UEC 的官方数据都将 RDMA、低延迟、高带宽与大规模运算列为现代 AI Network 的重要核心。

因此真正的问题不是：

「Ethernet 还是 InfiniBand 哪个比较快？」

而是：

哪一种 Fabric 更符合 GPU Cluster 对 Performance、Latency、Congestion、Operations、Ecosystem、Cost 与 Scale 的需求？

Ethernet vs InfiniBand 快速比较

项目	InfiniBand	Ethernet-based AI Network
主要定位	高效能 RDMA Fabric	通用 Ethernet 延伸至 AI／HPC Fabric
RDMA	原生架构核心能力	可透过 RoCEv2、UEC Transport 等方式实现
Latency	极低，针对 HPC／AI 优化	经 AI-optimized Ethernet 可达低延迟设计
Congestion Control	Fabric 原生机制、Adaptive Routing 等	依 RoCE／UEC／Vendor Architecture 设计
In-Network Computing	可支持 SHARP 等方案	依平台与实作而定
IP / Ethernet Ecosystem	独立 InfiniBand Fabric	可延续 Ethernet／IP 生态
Multi-Vendor Ecosystem	有正式 IBTA 生态与互通规范	Ethernet 生态非常广，UEC 强调开放互通
Network Operations	需 InfiniBand 专业管理能力	对既有 Ethernet 团队通常较熟悉
典型应用	HPC、Large-Scale AI Training	Cloud AI、Hyperscale AI、AI Ethernet Fabric
选型核心	极致 Performance、成熟 RDMA Fabric	开放生态、可扩展性、既有 Ethernet 整合

这张表不是在说所有 InfiniBand 一定比所有 Ethernet 快，也不是说 Ethernet 一定成本较低。

实际 Performance 与 TCO 都取决于：

**NIC / SuperNIC

• Switch
• Topology
• Congestion Control
• RDMA Stack
• Cable / Optics
• Software
• Cluster Scale**

共同决定。

RDMA 为什么是 AI Network 的核心？

AI Training 的 GPU 之间经常需要进行大量：

• AllReduce
• AllGather
• ReduceScatter
• Gradient Exchange
• Tensor Data Transfer

如果数据传输必须大量经过 CPU、Operating System 与传统 Software Stack，会增加 CPU Overhead 与 Latency。

RDMA（Remote Direct Memory Access）的核心价值，是让远程系统能更直接地进行 Memory-to-Memory Data Movement，降低 CPU 介入与数据搬移成本。IBTA 将 InfiniBand 定位为高带宽、低延迟 RDMA Interconnect，并指出 RDMA 能降低 CPU Overhead 与 Latency；RoCE 则将 RDMA 能力延伸到 Ethernet。

所以：

InfiniBand 有 RDMA，但 RDMA 不等于 InfiniBand。

Ethernet 同样可以使用：

RoCE — RDMA over Converged Ethernet

其中 RoCEv2 可跨 Layer 3 Routed Network 运作，让 RDMA 更容易延伸至大型 Ethernet Data Center Architecture。

InfiniBand 的优势在哪？

InfiniBand 从设计上就是高效能 Computing Fabric，而不是后来才把一般 LAN 改成 HPC Network。

它的重要特性包括：

**RDMA

• Low Latency
• Adaptive Routing
• Congestion Control
• Quality of Service
• High-Speed Fabric Management**

部分 InfiniBand 平台还加入：

In-Network Computing

例如 NVIDIA Quantum InfiniBand 的 SHARP，可直接在 Network Fabric 中协助 Collective Reduction Operation，降低部分数据必须全部送回 Host 再处理的负担。

因此 InfiniBand 特别适合：

• 大型 AI Training Cluster
• HPC
• Highly Synchronized GPU Workloads
• 对 Tail Latency 非常敏感的 Workload
• 对 Collective Communication 效率要求高的系统

截至目前，IBTA 的新一代 XDR InfiniBand Architecture 已进一步支援 200Gb/s per Lane，可形成 800Gb/s 等级 Server Connectivity，并朝更高带宽 Fabric 发展。

但 InfiniBand 的代价是：

它是一套独立的高效能 Fabric Ecosystem。

企业如果原本主要使用 Ethernet，导入 InfiniBand 时还需要考虑：

**Switch

• Adapter
• Fabric Management
• Network Skill Set
• Operations
• Spare Parts
• Vendor / System Architecture**

等完整系统成本。

Ethernet 为什么开始大量进入 AI GPU Cluster？

Ethernet 最大的优势不是「便宜」。

真正的重要性在于它已经拥有非常庞大的：

**Network Ecosystem

• IP Architecture
• Operations Experience
• Switch Silicon
• Optics
• Cable
• Multi-Vendor Supply Chain**

过去一般 Ethernet 对 AI Backend 的主要挑战包括：

• Congestion
• Packet Loss
• Tail Latency
• Incast
• Uneven Multipath
• Large Collective Traffic

而 AI Ethernet 的发展方向，就是针对这些问题进行优化。

2023 年成立的 Ultra Ethernet Consortium 明确将目标设定为建立适合 AI／HPC Scale-Out 的完整 Ethernet Communication Architecture，特别处理高带宽密度、Multipathing、Congestion Reaction 与 Tail Latency 等问题。

到了 2025-06-11，UEC 正式发布 Ultra Ethernet Specification 1.0，内容涵盖：

**Modern RDMA

• Congestion Control
• Multipathing
• API
• Ethernet Link / PHY
• Security
• Management**

并以开放、可互通及大规模 AI／HPC Network 为设计方向。

因此今天讨论：

Ethernet vs InfiniBand

已经不能把 Ethernet 想成传统 Office LAN。

AI-optimized Ethernet 已经是专门为大型 GPU Scale-Out Fabric 发展的重要技术路线。

RoCE Ethernet 和 Ultra Ethernet 是同一件事吗？

不是。

两者都属于 Ethernet-based High-Performance Networking，但不是完全相同的技术架构。

技术	核心概念
RoCE	在 Ethernet 上实现 RDMA
RoCEv2	让 RDMA over Ethernet 可透过 IP / Layer 3 Routing 扩展
Ultra Ethernet	针对 AI／HPC 重新优化 Transport、Congestion、Multipath 与完整 Communication Stack
Traditional Ethernet	一般 Data Center／Enterprise Ethernet 基础

IBTA 负责推进 RoCE Specification，而 Ultra Ethernet Consortium 则以 AI／HPC Workload 为目标建立新的 Ethernet-based Communication Architecture。

因此不能把：

Ethernet = RoCE = Ultra Ethernet

全部视为完全相同。

AI GPU Cluster 真正怕的是 Congestion

AI Training Traffic 和一般 Data Center Traffic 有一个很大的差异：

大量 GPU 可能在非常接近的时间，同时交换大量数据。

这会产生：

Incast
Hotspot
Queue Buildup
Tail Latency

如果其中几条 Flow 被延迟，其他 GPU 可能也必须等待同步。

因此 AI Backend Network 不只需要：

High Bandwidth

还需要：

**Predictable Performance

• Low Tail Latency
• Fast Congestion Response
• Efficient Multipathing**

UEC 将 Congestion Control 与 Multipathing 列为 AI／HPC Ethernet Architecture 的核心技术之一；InfiniBand 平台则长期发展 Adaptive Routing、Congestion Control 与 Fabric-Level Optimization。

所以高速 Port 如果只有：

400G、800G

但网络架构无法有效管理 Congestion，GPU 仍可能因等待 Network 而降低利用率。

Ethernet vs InfiniBand 到底怎么选？

比较实际的选型方式不是直接选品牌或 Protocol，而是先看 Workload。

使用条件	较值得优先评估
追求成熟、高效能 RDMA Fabric	InfiniBand
大型 HPC / Highly Synchronized AI Training	InfiniBand 很有竞争力
既有大量 Ethernet Infrastructure	AI Ethernet
Cloud / Hyperscale Multi-Tenant Environment	AI Ethernet
重视 Multi-Vendor Ethernet Ecosystem	Ethernet／UEC方向
需要 RDMA 但希望维持 Ethernet Architecture	RoCE／AI Ethernet
重视极致 Collective Communication Optimization	需比较 InfiniBand 与实际 AI Ethernet Platform
需要混合一般 Network 与 AI Network Operations	Ethernet通常较容易整合既有体系
新建大型 AI Factory	两者都应依 Workload、Scale、TCO 实测评估

值得注意的是，连 NVIDIA 本身目前也同时提供：

Quantum InfiniBand

与：

Spectrum-X Ethernet

两种 AI Networking Platform，而不是只押注单一 Network Architecture。NVIDIA 将两者都定位为大型 AI Training 与 Inference 的 Accelerated Networking Solution。

这也说明：

市场不存在「所有 AI Cluster 都应该只用 InfiniBand」或「Ethernet 一定会取代 InfiniBand」这种简单答案。

Cable、Connector 与 Optical 架构会因两者不同吗？

在 Physical Layer 层级，Ethernet 与 InfiniBand 都需要：

Switch
→ High-Speed Port
→ Cable / Optical Module
→ NIC / Adapter

而高速互连媒介可能包括：

DAC
AEC
AOC
Optical Transceiver + Fiber

因此从 Cable／Connector 角度来看，真正需要确认的是：

• Port Form Factor
• Data Rate
• Lane Rate
• Protocol Compatibility
• Cable Reach
• FEC
• Signal Integrity
• Optical Wavelength / Module Standard
• Host / Switch Compatibility

SyncTronics 官网现有高速传输线产品即包含 SFP28、QSFP28、QSFP56 等高速 Cable Assembly，并依产品与设备架构支持 Ethernet 或 InfiniBand 等高速应用。

所以不能只看到：

QSFP

就认为 Ethernet 与 InfiniBand Cable 一定可以任意互换。

即使 Mechanical Form Factor 相同，也仍需确认：

**Protocol

• EEPROM / Firmware
• Lane Mapping
• Data Rate
• FEC
• Equipment Compatibility**

Ethernet vs InfiniBand 核心结论

如果只记住五件事：

第一，InfiniBand 是原生为高效能 RDMA Fabric 发展的互连架构，长期应用于 HPC 与大型 AI Cluster。

第二，Ethernet 可以透过 RoCE 提供 RDMA，而 Ultra Ethernet 更进一步针对 AI／HPC 的 Congestion、Multipath、Latency 与 Scale 重新优化。

第三，InfiniBand 的强项是成熟的高效能 Fabric 与 Collective Communication Optimization；Ethernet 的重要优势则是庞大的 IP／Ethernet Ecosystem、Operations Experience 与开放互通发展方向。

第四，Ethernet 并不代表没有 RDMA，InfiniBand 也不代表所有情况一定比较快。

第五，真正的选型必须依 Workload、GPU Scale、Latency、Congestion、Topology、Operations、Cost 与完整 TCO 决定。

因此 AI GPU Cluster 的 Network Architecture 应该一起评估：

**GPU Scale

• Collective Communication
• RDMA
• Latency
• Congestion Control
• Network Topology
• NIC / DPU
• Switch
• Cable / Optics
• Operations
• TCO**

而不是只问：

「Ethernet 还是 InfiniBand？」

真正好的 AI Network，是让 GPU 花更多时间运算，而不是等待网络。

SyncTronics 解决方案

AI GPU Cluster 的高速互连不只涉及 Ethernet 或 InfiniBand Protocol 选择，还需要同时确认 Port Type、Lane Rate、Cable Length、DAC／AEC／AOC／Optical Architecture、Signal Integrity 与设备兼容性。SyncTronics 可依 AI Server、GPU Cluster、Networking 与 Data Center 项目需求，协助进行高速 Cable、Connector 与电子互连方案的规格确认与客制化评估。

相关延伸文章

• AI 数据中心 Scale-Up vs Scale-Out 是什么？GPU 高速网络架构完整解析
• AI 数据中心高速传输完整解析：400G、800G、1.6T 与下一代网络架构
• AI 数据中心高速线材怎么选？DAC、AEC、AOC、光模块与高速互连比较
• 200G/Lane 是什么？800G、1.6T 高速互连为什么需要更高 Lane Rate？

有线束、连接器、机电组件或客制化需求？欢迎与我们联络
如果您正在寻找合适的连接器、线材、线束加工、机电组件或电子互连解决方案，无论是产品选型、规格确认、少量试产（NPI）、OEM／ODM 客制化，或高速传输、高可靠度等特殊应用需求，金誉电子科技 可提供专业技术支持与评估。
欢迎前往【联络我们】页面，留下您的需求与联络信息。我们将以专业且快速的服务回复您的需求，根据您的产品规格、应用需求与项目条件，协助评估最适合的产品与电子互连解决方案，并提供相关技术建议与客制化支持，协助您缩短选型与开发时间、降低项目风险，让产品更顺利导入量产。期待有机会与您合作，为您的每一项项目需求提供值得信赖的技术支持与解决方案。

免责与交流声明
本内容系依公开信息与产业经验整理，仅供技术交流参考，不构成任何商业、技术或法律之建议或依据。内文所述之规格、材料、制程、应用方式及相关信息，可能因设计条件、环境因素或使用情境不同而有所差异，相关内容不保证其完整性、正确性或适用性。
读者应视实际应用情境，与相关设计或技术负责人员确认适用性，并自行评估相关风险。