NIC、SmartNIC、DPU 是什么?AI Server 网络接口与高速互连解析|技术年份:2022

NIC、SmartNIC、DPU 是什么?AI Server 网络接口与高速互连解析|技术年份:2022

AI Server 不只需要 GPU 算力,也必须把大量数据快速送进、送出不同 Server 与 GPU Cluster。

在这条数据路径中,经常会看到:

NIC
SmartNIC
DPU

三个名词。

它们都可能位于 Server 与高速网络之间,但不能简单理解成:

NIC → SmartNIC → DPU = 初阶 → 中阶 → 高阶网卡

更精确的理解是:

NIC 主要负责 Host 与 Network 的高速连接;SmartNIC 强调更多 Hardware Offload 与 Programmability;DPU 则进一步把 Networking、Storage、Security 与 Infrastructure Services 放到独立的可程序化处理平台上。

而且 SmartNIC 并不是一个完全统一的硬件标准名称。不同 Vendor、产品世代与使用情境,对 SmartNIC 的定义可能有所不同。NVIDIA 在 2021 年即将 SmartNIC 定义为可程序化 Network Accelerator,并指出其实作可以包含 ASIC、FPGA 或 SoC 等不同架构。

NIC、SmartNIC、DPU 最大差别是什么?

项目

NIC

SmartNIC

DPU

核心角色

Host Network Interface

Network Offload / Acceleration

Infrastructure Processing

网络传输

是

是

是

Hardware Offload

可具备

通常较强

通常非常完整

Programmability

视产品而定

重要特征

核心能力

On-board CPU

通常不是必要条件

可能有,也可能没有

通常具独立 CPU Core

Local Memory

较有限/依产品

依架构

通常具独立 Memory

Networking Processing

是

是

是

Storage Offload

部分产品支持

可支持

常为核心功能之一

Security Offload

部分支持

可支持

常整合 Security Infrastructure

Infrastructure Isolation

较有限

视架构

DPU的重要价值之一

典型用途

Server Networking

高效能/可程序化网络卸除

Cloud、AI、Security、Storage Infrastructure

要注意的是:

高阶 NIC 本身也可能具有 RDMA、Encryption、Virtualization、Storage Offload 等大量硬件加速功能,因此不能把普通 NIC 理解成完全没有 Offload 能力的「笨网卡」。

例如 NVIDIA ConnectX-7 现行产品定位为 NIC,可提供最高 400Gb/s 联机,并整合 Networking、Storage、Security 与 Manageability Hardware Acceleration。

NIC 是什么?

NIC 全名:

Network Interface Card / Network Interface Controller

主要工作是建立:

Server / Host
↔ Network

之间的数据信道。

在一般 Server 中,NIC 可能负责 Ethernet;在 HPC/AI Cluster 中,也可能使用支持 InfiniBand 或高速 Ethernet/RoCE 的 Adapter。

以 NVIDIA ConnectX-7 为例,产品可提供最高 400Gb/s Ethernet;InfiniBand 版本亦可提供 NDR 400Gb/s 等级的高速联机。

因此现代 Data Center NIC 已经不只是:

收封包 → 丢给 CPU

而可能同时执行:

RDMA
Virtualization Offload
Checksum
Encryption
Storage Acceleration
Traffic Steering

等工作。

但它的基本角色仍然是:

让 Host 高效率地连上外部 Network Fabric。

SmartNIC 是什么?

SmartNIC 通常可理解为:

具有更强 Hardware Acceleration 与 Programmability 的网络适配器。

它的主要目的,是把原本需要 Host CPU 执行的一部分 Infrastructure Workload 移到 NIC 上处理。

例如:

Packet Processing
Virtual Switching
Encryption / Decryption
Firewall
Traffic Management
Storage Processing

等工作。

NVIDIA 将 SmartNIC 描述为可程序化 Accelerator,可将 Networking、Security 与 Storage 工作从 Server CPU Offload;不同 SmartNIC 又可能使用 ASIC、FPGA 或 SoC 架构。

这也说明一个很重要的观念:

SmartNIC 是功能与 Architecture 的分类概念,不是像 PCIe Gen5 或 QSFP56 那样具有唯一固定规格的 Interface Standard。

甚至同一产品名称在不同时期的市场定位也可能有所变化。

例如 NVIDIA 在 2022 年 Spectrum-4 发表时将 ConnectX-7 称为 SmartNIC;目前 NVIDIA 官网则主要以 ConnectX-7 NIC 称呼这个产品系列。

所以实际选型时,比「它到底算不算 SmartNIC」更重要的是:

它能 Offload 什么?
能不能 Program?
Data Path 在哪里执行?
CPU 还需要负责多少工作?

DPU 是什么?

DPU 全名:

Data Processing Unit

它不是单纯把 NIC 做得更快,而是将网络接口进一步发展成:

Infrastructure Computing Platform

NVIDIA 对 DPU 的架构定义,是一种 SoC,整合高效能 Network Interface、可程序化 Processor Core 与 Hardware Accelerator,用来处理 Data Center Infrastructure 工作。

以 BlueField-3 为例,目前 NVIDIA 将其定位为最高 400Gb/s 的 Infrastructure Compute Platform,可对:

Software-Defined Networking
Storage
Cybersecurity

进行 Line-Rate Processing。

因此 DPU 通常会包含:

**High-Speed Network Interface

  • Arm / General-Purpose Processor
  • Local Memory
  • Hardware Accelerator
  • PCIe Interface
  • Programmable Software Stack**

这使它可以在 Host CPU 之外执行 Infrastructure Services。

概念上可以理解成:

Traditional Architecture

Application
↓
CPU
↓
Networking / Storage / Security Processing
↓
NIC
↓
Network

而加入 DPU 后:

Application / GPU
↓
CPU
↓
PCIe
↓
DPU

  • Networking
  • Storage
  • Security
  • Virtualization
  • Management
    ↓
    Network

DPU 的价值因此不只是:

「CPU 少算一点。」

而是可以进一步建立:

Application Compute 与 Infrastructure Compute 的分工与隔离。

SmartNIC 和 DPU 到底差在哪?

这两个名词的 Boundary 并不是所有 Vendor 都完全一致。

比较实用的判断方式,是看装置是否已经具备:

**Independent Compute

  • Local Memory
  • Programmable Infrastructure Services
  • Networking / Storage / Security Acceleration**

如果一张卡主要是在 Network Data Path 上做硬件 Offload,通常比较接近 SmartNIC。

如果它已经可以独立执行:

Networking
Storage
Security
Virtualization
Management

等 Infrastructure Software,并拥有自己的 Processor 与 Memory,则更接近 DPU。

因此:

DPU 可以视为比传统 SmartNIC 更完整的 Infrastructure Processing Architecture,但不能假设所有产业品牌都使用完全相同的分类方式。

目前 NVIDIA 的 BlueField-3 平台甚至同时区分 DPU 与 SuperNIC,也反映 Data Center Network Accelerator 的产品分类仍持续演进,并非只有 NIC/SmartNIC/DPU 三个永久固定层级。

NIC、SmartNIC、DPU 在 AI Server 里怎么连?

典型 AI Server 的 Scale-Out Network Path 可以简化成:

GPU
→ PCIe
→ NIC / SmartNIC / DPU
→ OSFP / QSFP
→ DAC / AEC / AOC / Optical
→ Network Switch
→ Other AI Servers

如果使用 RDMA 与 GPUDirect RDMA,支持的 Network Device 还可以透过 PCIe 与 GPU 建立更直接的 Data Path。

NVIDIA GPUDirect RDMA 的官方说明指出,这项技术能让 GPU 与第三方 PCIe Device,例如 Network Interface,直接交换数据,避免数据一定要先经过 CPU Host Memory。

因此传统数据路径可能是:

Network
→ NIC
→ CPU Memory
→ GPU

而适当架构下的 GPUDirect RDMA 则可形成:

Network
→ NIC / DPU
→ PCIe
→ GPU Memory

目的在于减少不必要的 Data Copy、CPU Participation 与 Latency。

这也是 NIC/SmartNIC/DPU 在 AI Cluster 里特别重要的原因:

GPU 算得再快,如果数据无法有效率进出 GPU,整个 Cluster 的实际运算效率仍可能受到网络瓶颈限制。

AI Server 应该使用 NIC、SmartNIC 还是 DPU?

没有一个答案适合所有 Server。

如果系统主要需要:

**High-Speed Ethernet / InfiniBand

  • RDMA
  • Basic Hardware Offload**

高效能 NIC 就可能已经足够。

如果需要:

**Programmable Packet Processing

  • Virtual Switching
  • Advanced Network Offload**

则 SmartNIC Architecture 可能更适合。

如果系统进一步要求:

**Networking

  • Storage
  • Security
  • Infrastructure Isolation
  • Independent Infrastructure Processing**

则 DPU 的价值会更加明显。

可以简化成:

需求

较可能的方向

高速网络联机

NIC

RDMA / Network Hardware Acceleration

NIC / SmartNIC

Programmable Data Path

SmartNIC / DPU

Virtual Network Offload

SmartNIC / DPU

Storage Infrastructure Offload

DPU

Security Infrastructure Offload

SmartNIC / DPU

Infrastructure Isolation

DPU

Cloud / Multi-Tenant Infrastructure

DPU

AI Back-End High-Speed Fabric

High-Performance NIC / Network Accelerator

因此选型不能只问:

「DPU 是不是一定比 NIC 好?」

而应该问:

哪些 Infrastructure Workload 需要从 CPU Offload,以及系统需要多少 Programmability、Isolation 与 Independent Compute?

NIC 与 DPU 为什么也和高速 Cable 有关?

NIC/SmartNIC/DPU 最终仍需要透过 Physical Interface 连到外部 Network。

例如目前 ConnectX-7 与 BlueField-3 等 Data Center Adapter 可使用高速 OSFP/QSFP112 等接口,并支持最高 400Gb/s 等级 Ethernet 或 InfiniBand 联机。

因此完整 Network Path 不只是:

GPU → NIC

而是:

GPU
→ PCIe
→ NIC / SmartNIC / DPU
→ High-Speed Connector
→ Cable / Optical Transceiver
→ Switch

实际 Cable Selection 还需要确认:

**Protocol

  • Port Type
  • Data Rate
  • Cable Length
  • Host Compatibility
  • EEPROM / Firmware
  • FEC
  • Thermal Condition**

同样使用 OSFP 或 QSFP Form Factor,也不代表 Cable、Protocol 与 Equipment 一定互相兼容。

在短距离 Rack Interconnect 中可能使用:

DAC

距离或 Electrical Reach 增加后则可能考虑:

AEC
AOC
Optical Transceiver + Fiber

因此 NIC/DPU 的 Network Architecture 与 High-Speed Cable Selection 本身就是同一条 End-to-End Channel 的不同部分。

SyncTronics 现有高速传输产品包括 SFP28、QSFP28、QSFP56 与 PCIe Cable Assembly,其中 QSFP56 200G Cable 即定位于 Data Center Switch、Server、NIC 与 HPC Equipment 等高速互连应用。

NIC、SmartNIC、DPU 核心结论

最重要的是不要把三个名词理解成单纯的性能排行。

NIC 的核心是 Host Network Connectivity,但现代高阶 NIC 本身就可以具有大量 Hardware Offload。

SmartNIC 强调 Programmability 与 Network/Infrastructure Offload,但产业并没有唯一固定的 SmartNIC Hardware Definition。

DPU 则进一步整合独立 Processor、Memory 与 Hardware Accelerator,让 Networking、Storage、Security 与 Management 等 Infrastructure Workload 可以在 Host CPU 之外执行。

对 AI Server 而言,真正需要评估的是:

**GPU Data Path

  • PCIe Topology
  • RDMA
  • Network Offload
  • Infrastructure Processing
  • Ethernet / InfiniBand
  • Port Speed
  • High-Speed Cable / Optics**

而不是只比较:

NIC、SmartNIC、DPU 哪一个名称比较高阶。

随着 AI Cluster 持续提高 GPU 数量与 Scale-Out Network Bandwidth,Network Interface 已经从传统的「Server 网卡」,逐步成为整个 AI Infrastructure Data Path 的核心运算与互连节点。

SyncTronics 解决方案

AI Server 的 NIC、SmartNIC 与 DPU 高速互连需依 Ethernet/InfiniBand、Port Data Rate、OSFP/QSFP Interface、PCIe Topology、Cable Length、DAC/AEC/AOC/Optical、Signal Integrity、Thermal Condition 与设备兼容性进行完整评估。SyncTronics 可依 AI Server、NIC、Networking、Switch、Data Center 与 HPC 项目需求,协助进行 SFP28、QSFP28、QSFP56、PCIe 高速 Cable Assembly、Connector 与客制化电子互连方案的规格确认及 NPI 评估。

有线束、连接器、机电组件或客制化需求?欢迎与我们联络

如果您正在寻找合适的连接器、线材、线束加工、机电组件或电子互连解决方案,无论是产品选型、规格确认、少量试产(NPI)、OEM/ODM 客制化,或高速传输、高可靠度等特殊应用需求,金誉电子科技 可提供专业技术支持与评估。

欢迎前往【联络我们】页面,留下您的需求与联络信息。我们将以专业且快速的服务回复您的需求,根据您的产品规格、应用需求与项目条件,协助评估最适合的产品与电子互连解决方案,并提供相关技术建议与客制化支持,协助您缩短选型与开发时间、降低项目风险,让产品更顺利导入量产。期待有机会与您合作,为您的每一项项目需求提供值得信赖的技术支持与解决方案。

相关延伸文章

  • Ethernet vs InfiniBand:AI GPU Cluster 高速网络怎么选?
  • AI 数据中心 Scale-Up vs Scale-Out 是什么?GPU 高速网络架构完整解析
  • AI 服务器内部高速线材怎么走?GPU、NIC、Switch 与 Cable 架构解析
  • AI 数据中心高速线材怎么选?DAC、AOC、光模块与高速互连比较

免责与交流声明

本内容系依公开信息与产业经验整理,仅供技术交流参考,不构成任何商业、技术或法律之建议或依据。内文所述之规格、材料、制程、应用方式及相关信息,可能因设计条件、环境因素或使用情境不同而有所差异,相关内容不保证其完整性、正确性或适用性。
读者应视实际应用情境,与相关设计或技术负责人员确认适用性,并自行评估相关风险。