AI 数据中心 Scale-Up vs Scale-Out 是什么？GPU 高速网络架构完整解析｜技术年份：2022

AI Server 从单颗 GPU 发展到数十、数百甚至更大规模的 GPU Cluster 后，真正限制系统效能的已不只是 GPU 算力，而是：

GPU 之间能不能快速交换数据。

因此现代 AI Infrastructure 通常会同时看到两种重要网络架构：

Scale-Up Network
Scale-Out Network

最简单的理解是：

Scale-Up：让一个紧密耦合运算域内的多颗 GPU，以极高带宽、低延迟协同运算。

Scale-Out：把多台 Server、多个 Rack 或多个 GPU Domain 透过高速网络扩展成大型 AI Cluster。

NVIDIA 现行 AI Networking 架构即明确将 NVLink 定位为 Scale-Up，而 Quantum InfiniBand 与 Spectrum-X Ethernet 定位为 Scale-Out；AMD 的官方定义也将 Scale-Up 描述为节点或紧密耦合系统内的扩充，Scale-Out 则延伸至数据中心内的 Cluster 与 Pod。

Scale-Up vs Scale-Out 快速比较

项目	Scale-Up	Scale-Out
主要目的	让多颗 GPU 形成紧密协作的运算域	将更多 Server／GPU Domain 扩展成 Cluster
典型范围	Server 内、Tray、Rack-Level Domain	Server-to-Server、Rack-to-Rack、Cluster
核心需求	极高带宽、极低延迟	高带宽、低延迟、可扩充性
代表性技术	NVLink、NVSwitch 等 Scale-Up Fabric	InfiniBand、AI Ethernet 等 Scale-Out Fabric
主要设备	GPU、Accelerator、Scale-Up Switch	NIC／SuperNIC、DPU、Network Switch
网络重点	GPU-to-GPU 数据交换效率	Routing、Congestion、Collective Communication、Cluster Scale
常见互连	PCB、Backplane、短距离高速 Copper／Cable	DAC、AEC、AOC、Optical Transceiver、Fiber
规模扩充方向	把单一运算域「做大」	增加更多运算节点

但这个表不是用「几台 Server」作绝对分界。

现代 Rack-Scale AI System 已经让 Scale-Up Domain 从单一 Server 扩展到整个 Rack，因此更准确的区别应该是：

Scale-Up 看的是 GPU 是否位于同一个紧密耦合的高速运算域；Scale-Out 看的是如何连接多个运算节点或运算域。

NVIDIA 目前即将 NVLink 描述为 Scale-Up Network，使 Domain 内 GPU 更像一个整体运算引擎；Scale-Out Network 则负责跨 Server 扩展到数千甚至更大规模的 GPU Cluster。

Scale-Up 为什么需要极高带宽与低延迟？

大型 AI Model 的计算经常需要多颗 GPU 同时处理同一个 Workload。

当 GPU 必须频繁交换：

• Tensor Data
• Model Parameters
• Intermediate Results
• Collective Communication Data
• Memory Data

GPU 之间的通讯效率就会直接影响整体 Accelerator Utilization。

如果 GPU 算得很快，却一直等待其他 GPU 传送数据，实际 AI Training 或 Inference Performance 就无法随 GPU 数量线性增加。

因此 Scale-Up Fabric 特别重视：

**High Bandwidth

• Predictable Low Latency
• High GPU-to-GPU Communication Efficiency**

NVLink 与 NVSwitch 是其中一个代表性架构。NVIDIA Fabric Manager 文件将 NVLink 定义为直接 GPU-to-GPU Interconnect，而 NVSwitch 则可将多组 NVLink 连接起来，形成 All-to-All GPU Communication。

2022 年推出的 DGX H100 就是一个重要例子：单一系统中的八颗 H100 GPU 透过第四代 NVLink 与 NVSwitch 互连，而外部 NVLink Switch System 更进一步将多个 DGX H100 节点纳入更大的高速 GPU Domain。

Scale-Out 又负责什么？

当单一 Scale-Up Domain 已经不够，就必须加入更多 Server 或 Rack。

这就是：

Scale-Out

典型架构可以概念化为：

GPU Domain
→ NIC / SuperNIC / DPU
→ Scale-Out Switch Fabric
→ NIC / SuperNIC / DPU
→ 另一个 GPU Domain

Scale-Out 需要处理的不只是单一高速 Link，而是一整个大型 Network Fabric，因此还必须面对：

• Network Topology
• Multipath
• Congestion Control
• Packet Loss
• Collective Communication
• Load Balancing
• Fault Recovery
• Network Scale

Ultra Ethernet Consortium 也将 AI Training 的 Backend Network 描述为 Scale-Out Network，强调大规模 GPU Cluster 对低延迟、低 Packet Loss 与高扩充能力的需求。

目前 Scale-Out AI Networking 的代表性技术主要包括：

InfiniBand
Ethernet-based AI Networking

但两者在 Protocol、Congestion Control、RDMA、Ecosystem 与成本上的差异，属于另一个独立 Search Intent，本篇不展开比较。

AI 数据中心为什么不能只做 Scale-Up？

假设所有 GPU 都使用超高带宽 Scale-Up Fabric 直接互连，看起来似乎最理想。

但随 GPU 数量增加，系统会快速面临：

**Switch Port

• SerDes
• Cable
• Connector
• Power
• Cooling
• Physical Reach
• Cost**

等限制。

Scale-Up Fabric 因为追求极低延迟与极高 Bandwidth Density，通常适合建立有限范围内的紧密 GPU Domain，而不是无限制延伸整座数据中心。

因此大型 AI Infrastructure 更常采：

Scale-Up Domain
↓
Scale-Out Network
↓
更多 Scale-Up Domain

这种分层式架构。

以目前 NVIDIA Networking 的分类来看，就是由 NVLink 负责 Scale-Up，再以 Quantum InfiniBand 或 Spectrum-X Ethernet 进行 Scale-Out。

Scale-Up 与 Scale-Out 对 Cable／Connector 的要求有什么不同？

从电子互连角度来看，两者其实都需要高速 Cable 与 Connector，但工程条件不同。

高速互连条件	Scale-Up	Scale-Out
主要距离	极短～Rack Level	Rack内至Rack间甚至更远
带宽密度	极高	高
Latency敏感度	非常高	高
Passive Copper	短距离非常重要	Rack内常见
Active Copper / AEC	视架构与Reach使用	延伸 Copper Reach
Optical	Rack-Scale发展中	长距离重要
Connector Density	极高	高
Signal Integrity	非常严格	非常严格
Cable Management	高密度 Rack 内尤其重要	大量 Network Port 同样重要

Scale-Up 架构因 GPU 之间必须维持极高带宽与低延迟，会特别强调：

短距离高速 Copper
High-Density Connector
Low-Loss Channel
Flyover Cable
Backplane／Midplane Architecture

等设计。

NVIDIA 在 Rack-Scale NVLink 架构的公开技术资料中，也将高速 SerDes、NVLink Switch、Copper Cable System、Power 与 Cooling 视为整体 Rack Architecture 的一部分。

Scale-Out 则因距离与网络规模变化较大，传输媒介可能依 Reach 分成：

DAC
→ AEC
→ AOC
→ Optical Transceiver + Fiber

因此 AI Data Center 的 Cable 选型不能只问：

「要 400G 还是 800G？」

还必须先确认它是在：

Scale-Up Domain

还是：

Scale-Out Network

中使用。

GPU 越多，Scale-Out Network 为什么越重要？

AI Cluster 扩展后，大量 GPU 之间会产生高度同步的 East-West Traffic。

与传统 Data Center 主要处理使用者到 Server 的 North-South Traffic 不同，AI Training 中大量流量发生在：

GPU ↔ GPU
Server ↔ Server
Rack ↔ Rack

之间。

Scale-Out Fabric 必须确保大量 GPU 同时交换数据时，不因 Congestion、Packet Loss 或 Tail Latency 让昂贵的 GPU 等待网络。

因此 AI Networking 的关键已经从单纯：

Port Speed

进一步变成：

**Bandwidth

• Latency
• Congestion Control
• Collective Communication
• Network Topology
• Reliability**

AMD 与 Ultra Ethernet Consortium 的公开 AI Networking 数据同样强调，大型 AI Workload 的 Scale-Out Network 必须针对同步、高流量 GPU Communication 进行设计，而不能只套用一般数据中心网络思维。

Scale-Up 与 Scale-Out 哪个比较重要？

答案是：

两个都重要。

它们解决的是不同问题。

Scale-Up 解决：

「有限范围内，怎么让多颗 GPU 像一个高效率运算域一起工作？」

Scale-Out 解决：

「当一个运算域不够时，怎么把更多 Server、Rack 与 GPU Domain 组成大型 AI Cluster？」

因此真正的大型 AI Infrastructure 更像：

GPU
→ Scale-Up Fabric
→ GPU Domain
→ Scale-Out Fabric
→ AI Cluster

而不是二选一。

那 Scale-Across 又是什么？

近年的 AI Infrastructure 又开始出现：

Scale-Across

这个新分类。

它主要描述：

不同 Data Center、Building 或 Campus 之间的 AI Infrastructure 互连。

因此可以概念化成：

Scale-Up：GPU Domain

Scale-Out：Data Center Cluster

Scale-Across：Multiple Data Centers

NVIDIA 在 2025 年公布 Spectrum-XGS 时，即将 Scale-Across 定义为 Scale-Up 与 Scale-Out 之外的第三种 AI Networking Dimension，用来连接地理位置分散的 AI Factory。

但对大多数 AI Server 与 Data Center Hardware 设计而言，Scale-Up 与 Scale-Out 仍是最核心的两层架构。

Scale-Up vs Scale-Out 核心结论

如果只记住四件事：

第一，Scale-Up 的核心是把多颗 GPU 建立成高带宽、低延迟的紧密运算域。

第二，Scale-Out 的核心是利用高速 Network Fabric 把更多 Server、Rack 与 GPU Domain 扩展成大型 AI Cluster。

第三，Scale-Up 不等于 NVLink，Scale-Out 也不等于 InfiniBand；这些只是代表性的技术实作。

第四，真正的大型 AI 数据中心需要 Scale-Up＋Scale-Out 同时存在，而不是二选一。

因此 AI Infrastructure 的高速网络不能只看：

GPU 数量或 Port Speed

而应一起评估：

**GPU Architecture

• Scale-Up Fabric
• Scale-Out Fabric
• NIC / DPU
• Switch
• Cable / Connector
• Reach
• Signal Integrity
• Power / Cooling**

才能建立真正可扩充的 GPU 高速网络。

SyncTronics 解决方案

AI Server 与 Data Center 的高速互连需依 Scale-Up／Scale-Out Architecture、Lane Rate、Port Type、Cable Length、Signal Integrity 与设备配置进行整体评估。对 Rack 内短距离高速互连，可依实际需求评估高速 Copper Cable、DAC、AEC 与高密度 Cable Assembly；跨 Rack 或更长距离则需进一步考虑 AOC、Optical Transceiver 与 Fiber Architecture。SyncTronics 可依 Server、Networking、AI Infrastructure 与 Data Center 项目需求，协助进行高速 Cable、Connector 与电子互连方案的规格确认与客制化评估。

相关延伸文章

AI Infrastructure 是什么？AI服务器、GPU与高速互连解析｜金誉电子科技

AI服务器高速互连技术｜GPU、HBM、CPO与光纤解析｜金誉电子科技

AI服务器内部高速线材怎么走？GPU、NIC与Cable架构｜金誉电子科技

200G/Lane是什么？800G、1.6T高速互连与Lane Rate解析｜金誉电子科技

有线束、连接器、机电组件或客制化需求？欢迎与我们联络
如果您正在寻找合适的连接器、线材、线束加工、机电组件或电子互连解决方案，无论是产品选型、规格确认、少量试产（NPI）、OEM／ODM 客制化，或高速传输、高可靠度等特殊应用需求，金誉电子科技 可提供专业技术支持与评估。
欢迎前往【联络我们】页面，留下您的需求与联络信息。我们将以专业且快速的服务回复您的需求，根据您的产品规格、应用需求与项目条件，协助评估最适合的产品与电子互连解决方案，并提供相关技术建议与客制化支持，协助您缩短选型与开发时间、降低项目风险，让产品更顺利导入量产。期待有机会与您合作，为您的每一项项目需求提供值得信赖的技术支持与解决方案。

免责与交流声明
本内容系依公开信息与产业经验整理，仅供技术交流参考，不构成任何商业、技术或法律之建议或依据。内文所述之规格、材料、制程、应用方式及相关信息，可能因设计条件、环境因素或使用情境不同而有所差异，相关内容不保证其完整性、正确性或适用性。
读者应视实际应用情境，与相关设计或技术负责人员确认适用性，并自行评估相关风险。