AI 服务器内部高速线材怎么走？GPU、NIC、Switch 与 Cable 架构解析｜技术年份：2022

AI 服务器内部并不是所有高速数据都经过同一条 Cable。

一台多 GPU AI Server 通常同时存在：

GPU ↔ GPU
CPU ↔ GPU
GPU ↔ NIC / DPU
NIC / DPU ↔ External Network
Storage ↔ CPU / GPU

等不同高速数据路径。

因此真正的设计问题不是：

「AI 服务器里要用哪一条高速线？」

而是：

不同高速讯号应该走 PCB、NVLink、PCIe、Board-to-Board Connector，还是改用 Internal High-Speed Cable，才能在带宽、距离、Signal Integrity、空间与散热之间取得平衡？

以 NVIDIA DGX H100 为例，系统整合 8 颗 H100 GPU、4 颗第三代 NVSwitch，以及 ConnectX-7 Networking；H100 同时支持第四代 NVLink 与 PCIe Gen5，呈现现代 AI Server 多种高速互连并存的典型架构。

AI Server 内部主要有哪些高速数据路径？

数据路径	常见高速接口	主要功能	Cable 的角色
GPU ↔ GPU / NVSwitch	NVLink	GPU间高速数据交换	多数平台以短距离 Board-Level Interconnect 为主，特定架构亦可延伸至 Cable
CPU ↔ GPU	PCIe / Proprietary Coherent Link	Host与Accelerator互连	视机构可能透过 PCB、Connector 或 Cable
GPU ↔ NIC / DPU	PCIe	GPU资料送往Scale-Out Network	PCIe Topology与短距离高速Channel非常重要
NIC / DPU ↔ I/O Port	High-Speed Electrical I/O	将Network Signal送至OSFP/QSFP等Port	Internal High-Speed Cable非常常见
Server ↔ Network Switch	Ethernet / InfiniBand	Scale-Out Cluster连接	DAC、AEC、AOC、Optical
CPU / GPU ↔ Storage	PCIe / NVMe	Model、Dataset与Checkpoint存取	视Server Architecture而定

因此必须先区分：

「芯片之间的内部高速互连」与「从芯片／NIC 把高速讯号拉到机箱 I/O Port 的 Cable」不是同一件事。

例如 NVIDIA DGX H100/H200 的官方文件指出，其 Networking Module 整合 ConnectX-7，并使用 DensiLink Cables 直接从 ConnectX-7 Networking Cards 连接到机箱后方的 OSFP Connectors。这就是非常典型的「Board／NIC → Internal Cable → Rear I/O Port」架构。

GPU、NVSwitch 与 NIC 的资料到底怎么走？

可以先用一个简化架构理解：

GPU
↓
NVLink / NVSwitch
↓
其他 GPU

同时另一条路径可能是：

GPU
↓
PCIe
↓
NIC / DPU
↓
Internal High-Speed Cable
↓
OSFP / QSFP Port
↓
DAC / AEC / Optical
↓
Data Center Switch

这两条高速路径的工作完全不同。

GPU ↔ GPU：Scale-Up

在 DGX H100 中，8 颗 H100 GPU 透过 NVLink 与 4 颗第三代 NVSwitch 建立高速 All-to-All GPU Communication。这类路径主要目标是极低延迟与极高 GPU-to-GPU Bandwidth。

这里不应直接理解成：

GPU → 一条外观看得到的 Cable → NVSwitch

因为许多 Scale-Up Interconnect 是整合在 GPU Baseboard、PCB 与专用 Connector Architecture 中。

GPU ↔ NIC / DPU：Scale-Out 出口

GPU 若需要将数据送往另一台 Server，就会进入 Network Adapter。

NVIDIA GPUDirect RDMA 可让 PCIe Network Device，例如 ConnectX SmartNIC 或 BlueField DPU，直接存取 GPU Memory，减少数据必须先绕经 CPU Host Memory 的需求。

因此高速 AI Server 的：

GPU ↔ PCIe ↔ NIC

路径本身就是重要的效能瓶颈之一。

为什么高速讯号不全部直接走 PCB？

低速讯号可以在 PCB 上走相对长的距离，但高速 SerDes Data Rate 持续提高后，PCB Trace 会逐渐消耗更多 Channel Loss Budget。

主要问题包括：

问题	对高速 Channel 的影响
Insertion Loss	PCB距离越长，高频讯号衰减越明显
Return Loss	Via、Connector、Launch可能形成Reflection
Crosstalk	高密度 Differential Pair互相干扰
PCB Routing Density	大量高速Lane占据Board Space
Via / Layer Transition	增加Impedance Discontinuity
Thermal / Airflow	大量PCB、Connector与Cable也会影响风道

因此高速 Server Architecture 会开始采用：

Flyover Cable

概念。

其核心不是「把所有 PCB 换成 Cable」，而是：

让高速讯号在需要时提早离开 PCB，透过低损耗 Cable 跨越较长物理距离，再于接近 Connector、Switch 或 I/O 的位置重新进入电路板。

Samtec 将 Flyover Technology 定位为将高速数据路径直接「带离 PCB」的 Board-to-Cable Architecture，并已应用于 GPU、PCIe 与高速系统设计。

Internal High-Speed Cable 有哪些架构？

AI Server 内部不一定只有一种 Cable。

架构	适合用途	主要特色
PCB Trace	最短芯片间距离	结构整合度最高
Board-to-Board	Tray／Baseboard连接	高密度、模块化
Passive Twinax / Flyover Cable	跨越较长PCB距离	Low Loss、Low Latency
Retimed / Active Cable	Channel Loss较高	可增加Signal Margin
Internal Optical	更高Data Rate／更长Reach	降低Electrical Reach压力
External DAC / AEC / AOC	Server至Switch	依距离与功耗选择

所以 AI Server 里的 Cable Architecture 更像：

PCB + Connector + Cable

共同分工，而不是：

Cable 取代 PCB。

NIC 到 OSFP／QSFP 为什么特别适合用 Cable？

Network Adapter 通常不一定就在机箱 I/O Port 正后方。

如果 NIC／DPU 和 Front／Rear I/O 距离较远，高速讯号若全部绕过 Mainboard，就会增加：

**PCB Trace Length

• Via Count
• Channel Loss
• Routing Complexity**

因此可以使用 Internal Cable 直接把高速讯号：

NIC / DPU
→ Cable
→ OSFP / QSFP Connector

拉到机箱外部。

DGX H100/H200 就提供非常具体的例子：ConnectX-7 Networking Cards 透过 DensiLink Cable 直接连到 Rear OSFP Connectors。

而 OSFP／QSFP 外面再接：

DAC
AEC
AOC
Optical Transceiver

连到 Data Center Switch。

因此一条完整 Scale-Out Physical Path 可能是：

GPU → PCIe → NIC → Internal Cable → OSFP → External Cable / Optics → Network Switch

PCIe Switch、Retimer 又放在哪里？

当 CPU、GPU、NIC、SSD 等大量 PCIe Device 同时存在时，AI Server 内部可能还需要：

PCIe Switch

管理多装置连接与 Lane Topology。

高速 Channel 若过长，也可能加入：

PCIe Retimer

重新建立 Clock 与 Data，将一条困难的长 Channel 分割成较容易管理的 Electrical Segment。

DGX H100/H200 的官方韧体数据即可看到系统同时存在 PCIe Switch 与 PCIe Retimer，代表现代 AI Server 高速互连并不是单纯的 CPU→GPU 直线连接。

因此实际架构可能形成：

CPU
→ PCIe Switch / Retimer
→ GPU / NIC / Storage

而其中某些 Physical Segment 可由 PCB 完成，另一些则可能透过 Cable Assembly。

AI Server Internal Cable 最重要的 SI 指标

Cable 是否「接得上」只是最基本条件。

真正的高速互连还需确认：

SI 项目	为什么重要
Differential Impedance	避免过大Reflection
Insertion Loss	决定高速Channel衰减
Return Loss	反映Impedance Discontinuity
Crosstalk	多Lane高密度Server的重要干扰来源
Skew	影响Differential Pair Timing
Connector Transition	Cable-to-Board最容易形成局部不连续
Cable Length	直接消耗Channel Loss Budget
Shielding	控制EMI与Pair-to-Pair Coupling

因此 Cable 选型不能只写：

PCIe Gen5 Cable

或：

400G Cable

就结束。

还必须知道：

**Data Rate / Lane

• Lane Count
• Channel Budget
• Connector
• Cable Length
• Retimer
• Host Compatibility**

AI Server 为什么越来越需要 Cable Architecture？

AI Server 的 GPU 数量、NIC Bandwidth、PCIe Speed 与 Network Port Speed 持续提高，系统需要同时解决：

**更多高速 Lane

• 更高 Signal Frequency
• 更有限 PCB Space
• 更高 Power Density
• 更困难 Cooling**

因此「让所有高速讯号都在 Motherboard 上跑完整距离」不一定是最佳设计。

现代 AI Hardware 越来越常利用：

**GPU Baseboard

• PCIe Switch
• Retimer
• Board-to-Board Connector
• Flyover / Internal Cable
• High-Speed I/O**

共同建立模块化高速架构。

但这并不代表所有 AI Server 都会采相同 Cable Layout；不同 NVIDIA、AMD、OEM、ODM 与 Accelerator Platform，其 PCIe Topology、GPU Baseboard、NIC位置及 Cable Routing 都可能不同。

因此最重要的工程观念是：

高速线材没有固定「应该从 GPU 拉到哪里」的唯一答案，而是依完整 System Topology 决定 Physical Route。

AI 服务器内部高速线材核心结论

如果只记住四件事：

第一，AI Server 内部同时存在 GPU-to-GPU、CPU-to-GPU、GPU-to-NIC 与 NIC-to-I/O 等多条不同高速路径。

第二，GPU ↔ NVSwitch 不一定使用传统 Cable；许多 Scale-Up Link 是整合于 GPU Baseboard 与 Board-Level Interconnect。

第三，Internal High-Speed Cable 特别适合把 NIC、Switch、Retimer 或其他高速组件的讯号跨越较长 PCB 距离，直接送到 I/O Connector。

第四，Cable Architecture 的真正目的，是在 PCB Loss、Signal Integrity、空间、散热、维修与成本之间取得平衡。

因此 AI Server 的高速数据路径应该以：

**GPU

• NVLink / NVSwitch
• PCIe
• NIC / DPU
• Retimer / PCIe Switch
• Internal Cable
• OSFP / QSFP
• External Network**

整体理解。

高速 Cable 不是独立零件，而是 AI Server System-Level Interconnect Architecture 的一部分。

SyncTronics 解决方案

AI Server 内部高速互连需依 GPU、NIC／DPU、PCIe Switch、Retimer、I/O Port、Lane Rate、Cable Length 与完整 Signal Integrity 条件进行评估。SyncTronics 可依 AI Server、Networking、Data Center 与高速运算设备需求，协助进行高速 Cable Assembly、Connector、Twinax、PCIe 与客制化电子互连方案的规格确认与 NPI 评估。

相关延伸文章

• AI 数据中心 Scale-Up vs Scale-Out 是什么？GPU 高速网络架构完整解析
• Ethernet vs InfiniBand：AI GPU Cluster 高速网络怎么选？
• Retimer、Redriver、AEC 有什么不同？高速讯号延伸技术完整解析
• 高速 DAC Cable 结构完整解析：Twinax、AWG、屏蔽与 Signal Integrity

有线束、连接器、机电组件或客制化需求？欢迎与我们联络
如果您正在寻找合适的连接器、线材、线束加工、机电组件或电子互连解决方案，无论是产品选型、规格确认、少量试产（NPI）、OEM／ODM 客制化，或高速传输、高可靠度等特殊应用需求，金誉电子科技 可提供专业技术支持与评估。
欢迎前往【联络我们】页面，留下您的需求与联络信息。我们将以专业且快速的服务回复您的需求，根据您的产品规格、应用需求与项目条件，协助评估最适合的产品与电子互连解决方案，并提供相关技术建议与客制化支持，协助您缩短选型与开发时间、降低项目风险，让产品更顺利导入量产。期待有机会与您合作，为您的每一项项目需求提供值得信赖的技术支持与解决方案。

免责与交流声明
本内容系依公开信息与产业经验整理，仅供技术交流参考，不构成任何商业、技术或法律之建议或依据。内文所述之规格、材料、制程、应用方式及相关信息，可能因设计条件、环境因素或使用情境不同而有所差异，相关内容不保证其完整性、正确性或适用性。
读者应视实际应用情境，与相关设计或技术负责人员确认适用性，并自行评估相关风险。