AI 服务器高速互连技术解析：从 GPU、HBM 到 CPO 与光纤传输｜技术年份：2026

AI 服务器的效能不只取决于 GPU 运算能力，数据能否快速地在 HBM、GPU、CPU、NIC、交换器与其他 GPU Node 之间移动，同样会影响整体 AI Training 与 Inference 效率。

因此，现代 AI Server 的高速互连已形成多层架构：GPU 先从 HBM 取得数据，再透过 PCIe、GPU Interconnect 等接口与其他组件交换数据；当运算规模从单台服务器扩展到 Rack、Cluster 甚至大型 AI Data Center，数据还需要经由 NIC／DPU、Network Switch、高速铜缆、光模块、CPO 与 Optical Fiber 传送到其他运算节点。

以 NVIDIA Vera Rubin 为例，Rubin GPU 已采用 HBM4；Vera Rubin NVL72 则利用 NVLink 6 建立 Rack 内 Scale-Up 互连，再透过 Spectrum-X Ethernet 或 InfiniBand 向外进行 Scale-Out，反映 AI 系统正在从单一 GPU 效能转向完整高速互连架构。

AI 服务器的高速互连到底在传什么？

AI 模型运算过程会持续产生大量数据交换，例如：

• Model Parameters
• Tensor Data
• Activations
• Gradients
• KV Cache
• Training Dataset
• Checkpoint
• GPU-to-GPU Data

但这些数据并不是全部走同一条传输路径。

AI Server 高速互连更适合看成一个由内而外的「资料带宽阶层」。

互连层级	主要技术	主要任务
GPU ↔ Memory	HBM	GPU 高带宽存取运算数据
CPU ↔ GPU／Device	PCIe、C2C Interconnect	Host、GPU、NIC、SSD 等数据交换
GPU ↔ GPU	NVLink 等 Scale-Up Interconnect	多 GPU 高带宽协同运算
Server ↔ Network	NIC、SuperNIC、DPU	将服务器数据送入高速网络
Server／Rack ↔ Switch	DAC、AEC、AOC、Optical Transceiver	建立实体高速联机
Switch ↔ Optical Network	Pluggable Optics、CPO	完成高速电讯号与光讯号转换
Rack／Data Center ↔ Rack／Data Center	Optical Fiber	进行高带宽、较长距离传输

因此，「AI Server 高速互连」并不是单一 Cable 或单一接口，而是从芯片与内存一路延伸到数据中心网络的完整 Data Path。

HBM 为什么对 GPU 效能这么重要？

GPU 擅长大量平行运算，但运算核心必须持续取得模型参数与数据。

如果 GPU 运算能力增加，内存带宽却无法同步提升，GPU 就可能因等待数据而无法充分发挥运算能力。

HBM（High Bandwidth Memory）的角色，就是在 GPU 附近提供高带宽内存存取能力。

NVIDIA Rubin GPU 已导入 HBM4。NVIDIA 说明 HBM4 相较 HBM3e 扩大了接口宽度，Rubin 也透过新的内存控制器与更紧密的 Compute-Memory Integration 提高内存带宽。

但有一个观念很重要：

HBM 是 GPU 的高带宽内存，不等于 Data Center Network。

HBM 解决的是「GPU 如何快速取得附近数据」；高速 Network、Cable、Connector 与 Optical Interconnect 解决的则是「数据如何跨越不同 GPU、Server、Rack 与 Switch」。

两者处在不同的互连层级，却共同影响 AI 系统效能。

GPU 与 GPU 之间为什么需要高速互连？

大型 AI 模型通常无法只依靠单颗 GPU 完成所有运算，因此需要多颗 GPU 协同工作。

当 GPU 数量增加后，系统需要快速进行：

GPU ↔ GPU

数据交换。

这类 Rack 内或运算域内的高速互连通常称为 Scale-Up Interconnect。

例如 NVIDIA Vera Rubin NVL72 整合 72 颗 Rubin GPU，并使用第六代 NVLink 与 NVLink Switch 建立 Rack-Scale GPU Interconnect；官方数据显示 Vera Rubin NVL72 同时再利用 Spectrum-X Ethernet 或 Quantum-X800 InfiniBand 向外进行 Scale-Out。

可以简化理解为：

Scale-Up：让同一个运算系统内的 GPU 更紧密地一起工作

Scale-Out：让不同 Server／Rack 连成更大的 AI Cluster

这也是 AI Infrastructure 从「一台高效能 Server」逐渐发展成「Rack-Scale AI Supercomputer」的重要原因。

PCIe 在 AI Server 高速互连中扮演什么角色？

除了 GPU 专用互连之外，AI Server 内仍有大量组件需要彼此交换数据，例如：

CPU ↔ GPU

CPU ↔ NIC／DPU

GPU ↔ NIC

CPU／GPU ↔ SSD

PCI Express（PCIe）因此仍是 AI Server 内部极重要的通用高速 I/O 架构。

但对 Cable、Connector 与 System Design 而言，不能只确认「支持 PCIe」就完成选型。

高速接口还需要确认：

项目	影响
PCIe Generation	决定接口数据速率要求
Lane Count	影响总带宽
PCB Routing	影响 Channel Loss
Connector	可能产生阻抗不连续与损耗
Cable Length	影响高速讯号衰减
Insertion Loss	影响接收端 Signal Margin
Return Loss	反映高速信道讯号反射
Crosstalk	影响相邻高速 Lane
Channel Budget	判断整体通道是否符合要求

因此，高速接口真正需要评估的是：

Device + PCB + Connector + Cable + Receiver

形成的完整 Channel。

为什么 AI Server 最后还是需要 Network Switch？

Rack 内 GPU 可以透过高速 Scale-Up Interconnect 建立紧密联机，但当 AI 运算规模继续增加，就必须连接更多 Server 与 Rack。

此时数据会从 GPU 经过 NIC／SuperNIC／DPU 进入高速数据中心网络，再由 Network Switch 传送至其他 GPU Node。

可以简化成：

GPU
→ NIC／DPU
→ High-Speed Cable／Optics
→ Network Switch
→ High-Speed Cable／Optics
→ 另一台 AI Server／GPU

因此 AI Cluster 规模愈大，Network Bandwidth、Latency、Port Density 与高速实体互连的重要性就愈高。

目前 AI Networking 已持续朝 800G、1.6T 与 200G/Lane 等方向演进。Ethernet Alliance 在 OFC 2026 的互通展示即涵盖 200G、400G、800G 到 1.6T 的高速 Ethernet 技术；OIF 也持续推进以 200G/Lane 为基础的 Near-Package Optics 等高速接口。

从铜缆到光纤：AI Data Center 怎么选？

不同距离不需要使用完全相同的实体传输方式。

AI Data Center 通常会依据距离、带宽、功耗、Cable Management 与成本选择不同方案。

技术	主要特性	适用方向
DAC	Passive Copper、低功耗、低延迟	短距离高速互连
AEC	主动电气补偿	延伸高速铜缆可用距离
AOC	Cable 内整合光电转换	中距离高速设备互连
Pluggable Optics	模块化、容易维护	Rack-to-Rack、高速交换器
CPO	光学引擎靠近 Switch ASIC	高带宽、高密度下一代交换架构
Optical Fiber	高带宽、低传输损耗、距离弹性高	Rack、Row、Data Hall 与更长距离

这代表 AI Data Center 不会简单地从「铜线全部换成光纤」。

较短距离的高速互连仍可能利用 Copper，而当距离、带宽密度与功耗需求持续增加，Optical Interconnect 的比重便可能提高。

CPO 是什么？为什么 AI Network 开始需要它？

传统 Pluggable Optical Transceiver 通常安装在 Switch 面板端。

Switch ASIC 产生的高速电讯号，需要先经 PCB 走线传到面板上的 Optical Module，再转换成光讯号。

数据速率愈高，这段高速电气路径的 Loss、功耗与讯号完整性设计难度也会增加。

**CPO（Co-Packaged Optics，共封装光学）**的核心概念，就是把 Optical Engine 移到更靠近 Switch ASIC 的位置，缩短高速电气讯号需要经过的距离，再更早将讯号转换成 Optical Signal。

Broadcom 已推出 Tomahawk 6 Davisson CPO Ethernet Switch，将 Co-Packaged Optics 用于 102.4 Tb/s 等级的 AI Networking；NVIDIA Spectrum-X Ethernet Photonics 也将 CPO 直接整合到 Switch ASIC 附近，显示 CPO 正逐渐成为下一代高带宽 AI Network 的重要技术方向。

传统 Pluggable Optics

Switch ASIC
→ PCB 高速电气路径
→ Pluggable Optical Module
→ Optical Fiber

CPO

Switch ASIC
→ 短距离高速电气路径
→ Co-Packaged Optical Engine
→ Optical Fiber

CPO 最重要的目的之一，就是降低 Switch ASIC 与 Optical Engine 之间高速电气传输所面临的功耗与讯号损耗问题。Broadcom 也将降低 Power per Bit 与提升联机稳定性列为其 CPO 架构的重要目标。

CPO 会取代光纤吗？

不会。

这是非常容易混淆的一个观念。

CPO 是光电转换与封装架构；Optical Fiber 是光讯号的实际传输媒介。

CPO 改变的是：

「高速电讯号在哪里转换成光讯号？」

而不是取消光纤。

因此架构反而可以理解为：

ASIC → CPO Optical Engine → Optical Fiber → 远程设备

CPO 与 Fiber 是互补关系，而不是竞争关系。

CPO 会完全取代可插拔光模块吗？

目前也不适合直接下这个结论。

Pluggable Optics 具有：

• 模块化
• 维修方便
• 更换弹性
• 成熟生态系

等优势。

CPO 则针对愈来愈高的：

• Bandwidth Density
• Electrical Channel Loss
• Power per Bit
• Port Density

提供另一种系统级解决方案。

NVIDIA 的 AI Networking 产品策略目前也同时包含 Pluggable Optical Transceiver 与 Co-Packaged Silicon Photonics，说明下一阶段 AI Data Center 很可能仍是多种 Optical／Electrical Interconnect 共存，而不是单一路线全面取代。

AI 服务器的完整高速数据路径怎么看？

将前面的技术整合后，一个大型 AI 系统可以概念化为：

HBM
↓
GPU
↓
GPU Interconnect／PCIe
↓
NIC／DPU
↓
DAC／AEC／AOC／Optics
↓
Network Switch
↓
Pluggable Optics／CPO
↓
Optical Fiber
↓
其他 Rack／GPU Cluster

但这张路径是用来理解「互连层级」，并不表示所有 AI 数据一定按照完全相同顺序流动。

不同 AI Server Architecture、GPU Platform、Network Topology 与 Storage Architecture，都可能采用不同数据路径。

真正需要关注的是：

每一层的带宽是否能与下一层匹配。

如果 GPU 与 HBM 很快，但 Network 不足，Scale-Out 可能受限。

如果 Switch 很快，但 Cable／Optical Channel 无法支持要求，网络带宽同样无法充分利用。

因此 AI Server 高速互连的核心并不是单一「最快组件」，而是端到端带宽平衡与完整 Channel Design。

AI Server 高速互连选型应确认什么？

对 Server、Network Equipment、NPI 与客制化互连项目而言，可以优先确认：

选型项目	主要问题
Data Rate	系统需要多少总带宽与 Per-Lane Rate？
Distance	Board、Server、Rack 或 Data Hall？
Interface	PCIe、QSFP、OSFP 或其他接口？
Copper／Optical	哪种传输方式符合距离与功耗需求？
Connector／Cable	是否符合 Impedance、Loss 与机构条件？
Thermal	Active／Optical 组件散热是否可接受？
Channel Budget	PCB、Connector、Cable、Module 总损耗是否符合要求？
Serviceability	是否需要现场快速更换与维护？
Future Upgrade	是否预留更高速率与更高密度需求？

尤其在高速 Cable 与 Connector 选型上：

外型兼容 ≠ 电气性能兼容。

相同 Form Factor 的产品，仍可能因 Cable Construction、线长、AWG、Connector Design、Shielding、Insertion Loss 与设备端要求不同，而产生完全不同的高速传输结果。

AI 高速互连未来会往哪里发展？

下一阶段 AI Server 与 Data Center 的高速互连，将同时往三个方向发展：

更高内存带宽、更高 GPU／Server 间带宽，以及更高效率的 Optical Interconnect。

2026 年的 AI 与光通讯产业发展已显示，HBM4、Rack-Scale GPU Interconnect、800G／1.6T Ethernet、200G/Lane、Near-Package Optics、Silicon Photonics 与 CPO 正逐渐在同一套 AI Infrastructure 演进路线中交会。

Broadcom 已将第三代 CPO 应用于 Tomahawk 6；NVIDIA Spectrum-X Ethernet Photonics 也将 Co-Packaged Silicon Photonics 导入大型 AI Factory 网络，显示当交换带宽持续提升后，「如何降低每 Bit 传输功耗与高速电气路径损耗」正成为 AI Networking 的重要工程问题。

AI Server 高速互连的核心观念

如果用一句话总结：

HBM 解决 GPU 附近的数据带宽，GPU Interconnect 解决 GPU 之间的协同运算，而高速 Cable、Switch、CPO 与 Optical Fiber 则把这些运算资源扩展成更大型的 AI Cluster。

因此 AI Server 的高速互连不能只看 GPU，也不能只看 Cable 或 Optical Module。

真正需要评估的是：

Memory
→ Compute
→ I/O
→ Network
→ Physical Interconnect
→ Optical Transport

形成的完整数据路径。

对高速线材、连接器与电子互连产业而言，AI Infrastructure 的发展意味着数据速率、Bandwidth Density、Signal Integrity、Cable Management 与 Optical Integration 都会持续提高要求。

而这些技术能否彼此匹配，将直接影响未来 AI Server 与 Data Center 的整体运算效率。

常见问题

HBM 是高速互连技术吗？

HBM 属于高带宽内存技术，主要负责 GPU 与附近 Memory 之间的高速数据存取。它与 PCIe、NVLink、Ethernet 或 Optical Fiber 位于不同互连层级，但共同影响整体 AI 系统数据流效率。

AI Server 为什么不能全部使用铜线？

高速 Copper Interconnect 在短距离仍具有低功耗、低延迟与成本等优势，但随着距离、带宽密度与数据速率增加，高频电气损耗与功耗设计会更加困难，因此较长距离与高密度网络会逐渐增加 Optical Interconnect 的使用。

CPO 和光模块有什么不同？

传统 Pluggable Optical Module 通常位于 Switch 面板；CPO 则将 Optical Engine 移到更靠近 Switch ASIC 的位置，以缩短高速电气传输距离。两者都是高速光互连方案，但系统架构、维护方式、功耗与封装方式不同。

CPO 就是光纤吗？

不是。CPO 是 Co-Packaged Optics，是光电转换与封装架构；Optical Fiber 则是光讯号的传输媒介。CPO 最终仍需要透过光纤将光讯号传送到其他设备。

AI Server 高速线材只要速率相同就能使用吗？

不一定。除了标示速率之外，还必须确认 Interface、Lane Configuration、Characteristic Impedance、Cable Length、Connector、Insertion Loss、Return Loss、Crosstalk、设备兼容性与整体 Channel Budget。

有线束、连接器、机电组件或客制化需求？欢迎与我们联络

如果您正在寻找合适的连接器、线材、线束加工、机电组件或电子互连解决方案，无论是产品选型、规格确认、少量试产（NPI）、OEM／ODM 客制化，或高速传输、高可靠度等特殊应用需求，金誉电子科技 可提供专业技术支持与评估。

欢迎前往【联络我们】页面，留下您的需求与联络信息。我们将以专业且快速的服务回复您的需求，根据您的产品规格、应用需求与项目条件，协助评估最适合的产品与电子互连解决方案，并提供相关技术建议与客制化支持，协助您缩短选型与开发时间、降低项目风险，让产品更顺利导入量产。期待有机会与您合作，为您的每一项项目需求提供值得信赖的技术支持与解决方案。

免责与交流声明

本内容系依公开信息与产业经验整理，仅供技术交流参考，不构成任何商业、技术或法律之建议或依据。内文所述之规格、材料、制程、应用方式及相关信息，可能因设计条件、环境因素或使用情境不同而有所差异，相关内容不保证其完整性、正确性或适用性。

读者应视实际应用情境，与相关设计或技术负责人员确认适用性，并自行评估相关风险。