NIC、SmartNIC、DPU 是什么?AI Server 网络接口与高速互连解析|技术年份:2022
NIC、SmartNIC、DPU 是什么?AI Server 网络接口与高速互连解析|技术年份:2022
AI Server 不只需要 GPU 算力,也必须把大量数据快速送进、送出不同 Server 与 GPU Cluster。
在这条数据路径中,经常会看到:
NIC
SmartNIC
DPU
三个名词。
它们都可能位于 Server 与高速网络之间,但不能简单理解成:
NIC → SmartNIC → DPU = 初阶 → 中阶 → 高阶网卡
更精确的理解是:
NIC 主要负责 Host 与 Network 的高速连接;SmartNIC 强调更多 Hardware Offload 与 Programmability;DPU 则进一步把 Networking、Storage、Security 与 Infrastructure Services 放到独立的可程序化处理平台上。
而且 SmartNIC 并不是一个完全统一的硬件标准名称。不同 Vendor、产品世代与使用情境,对 SmartNIC 的定义可能有所不同。NVIDIA 在 2021 年即将 SmartNIC 定义为可程序化 Network Accelerator,并指出其实作可以包含 ASIC、FPGA 或 SoC 等不同架构。
NIC、SmartNIC、DPU 最大差别是什么?
|
项目 |
NIC |
SmartNIC |
DPU |
|
核心角色 |
Host Network Interface |
Network Offload / Acceleration |
Infrastructure Processing |
|
网络传输 |
是 |
是 |
是 |
|
Hardware Offload |
可具备 |
通常较强 |
通常非常完整 |
|
Programmability |
视产品而定 |
重要特征 |
核心能力 |
|
On-board CPU |
通常不是必要条件 |
可能有,也可能没有 |
通常具独立 CPU Core |
|
Local Memory |
较有限/依产品 |
依架构 |
通常具独立 Memory |
|
Networking Processing |
是 |
是 |
是 |
|
Storage Offload |
部分产品支持 |
可支持 |
常为核心功能之一 |
|
Security Offload |
部分支持 |
可支持 |
常整合 Security Infrastructure |
|
Infrastructure Isolation |
较有限 |
视架构 |
DPU的重要价值之一 |
|
典型用途 |
Server Networking |
高效能/可程序化网络卸除 |
Cloud、AI、Security、Storage Infrastructure |
要注意的是:
高阶 NIC 本身也可能具有 RDMA、Encryption、Virtualization、Storage Offload 等大量硬件加速功能,因此不能把普通 NIC 理解成完全没有 Offload 能力的「笨网卡」。
例如 NVIDIA ConnectX-7 现行产品定位为 NIC,可提供最高 400Gb/s 联机,并整合 Networking、Storage、Security 与 Manageability Hardware Acceleration。
NIC 是什么?
NIC 全名:
Network Interface Card / Network Interface Controller
主要工作是建立:
Server / Host
↔ Network
之间的数据信道。
在一般 Server 中,NIC 可能负责 Ethernet;在 HPC/AI Cluster 中,也可能使用支持 InfiniBand 或高速 Ethernet/RoCE 的 Adapter。
以 NVIDIA ConnectX-7 为例,产品可提供最高 400Gb/s Ethernet;InfiniBand 版本亦可提供 NDR 400Gb/s 等级的高速联机。
因此现代 Data Center NIC 已经不只是:
收封包 → 丢给 CPU
而可能同时执行:
RDMA
Virtualization Offload
Checksum
Encryption
Storage Acceleration
Traffic Steering
等工作。
但它的基本角色仍然是:
让 Host 高效率地连上外部 Network Fabric。
SmartNIC 是什么?
SmartNIC 通常可理解为:
具有更强 Hardware Acceleration 与 Programmability 的网络适配器。
它的主要目的,是把原本需要 Host CPU 执行的一部分 Infrastructure Workload 移到 NIC 上处理。
例如:
Packet Processing
Virtual Switching
Encryption / Decryption
Firewall
Traffic Management
Storage Processing
等工作。
NVIDIA 将 SmartNIC 描述为可程序化 Accelerator,可将 Networking、Security 与 Storage 工作从 Server CPU Offload;不同 SmartNIC 又可能使用 ASIC、FPGA 或 SoC 架构。
这也说明一个很重要的观念:
SmartNIC 是功能与 Architecture 的分类概念,不是像 PCIe Gen5 或 QSFP56 那样具有唯一固定规格的 Interface Standard。
甚至同一产品名称在不同时期的市场定位也可能有所变化。
例如 NVIDIA 在 2022 年 Spectrum-4 发表时将 ConnectX-7 称为 SmartNIC;目前 NVIDIA 官网则主要以 ConnectX-7 NIC 称呼这个产品系列。
所以实际选型时,比「它到底算不算 SmartNIC」更重要的是:
它能 Offload 什么?
能不能 Program?
Data Path 在哪里执行?
CPU 还需要负责多少工作?
DPU 是什么?
DPU 全名:
Data Processing Unit
它不是单纯把 NIC 做得更快,而是将网络接口进一步发展成:
Infrastructure Computing Platform
NVIDIA 对 DPU 的架构定义,是一种 SoC,整合高效能 Network Interface、可程序化 Processor Core 与 Hardware Accelerator,用来处理 Data Center Infrastructure 工作。
以 BlueField-3 为例,目前 NVIDIA 将其定位为最高 400Gb/s 的 Infrastructure Compute Platform,可对:
Software-Defined Networking
Storage
Cybersecurity
进行 Line-Rate Processing。
因此 DPU 通常会包含:
**High-Speed Network Interface
- Arm / General-Purpose Processor
- Local Memory
- Hardware Accelerator
- PCIe Interface
- Programmable Software Stack**
这使它可以在 Host CPU 之外执行 Infrastructure Services。
概念上可以理解成:
Traditional Architecture
Application
↓
CPU
↓
Networking / Storage / Security Processing
↓
NIC
↓
Network
而加入 DPU 后:
Application / GPU
↓
CPU
↓
PCIe
↓
DPU
- Networking
- Storage
- Security
- Virtualization
-
Management
↓
Network
DPU 的价值因此不只是:
「CPU 少算一点。」
而是可以进一步建立:
Application Compute 与 Infrastructure Compute 的分工与隔离。
SmartNIC 和 DPU 到底差在哪?
这两个名词的 Boundary 并不是所有 Vendor 都完全一致。
比较实用的判断方式,是看装置是否已经具备:
**Independent Compute
- Local Memory
- Programmable Infrastructure Services
- Networking / Storage / Security Acceleration**
如果一张卡主要是在 Network Data Path 上做硬件 Offload,通常比较接近 SmartNIC。
如果它已经可以独立执行:
Networking
Storage
Security
Virtualization
Management
等 Infrastructure Software,并拥有自己的 Processor 与 Memory,则更接近 DPU。
因此:
DPU 可以视为比传统 SmartNIC 更完整的 Infrastructure Processing Architecture,但不能假设所有产业品牌都使用完全相同的分类方式。
目前 NVIDIA 的 BlueField-3 平台甚至同时区分 DPU 与 SuperNIC,也反映 Data Center Network Accelerator 的产品分类仍持续演进,并非只有 NIC/SmartNIC/DPU 三个永久固定层级。
NIC、SmartNIC、DPU 在 AI Server 里怎么连?
典型 AI Server 的 Scale-Out Network Path 可以简化成:
GPU
→ PCIe
→ NIC / SmartNIC / DPU
→ OSFP / QSFP
→ DAC / AEC / AOC / Optical
→ Network Switch
→ Other AI Servers
如果使用 RDMA 与 GPUDirect RDMA,支持的 Network Device 还可以透过 PCIe 与 GPU 建立更直接的 Data Path。
NVIDIA GPUDirect RDMA 的官方说明指出,这项技术能让 GPU 与第三方 PCIe Device,例如 Network Interface,直接交换数据,避免数据一定要先经过 CPU Host Memory。
因此传统数据路径可能是:
Network
→ NIC
→ CPU Memory
→ GPU
而适当架构下的 GPUDirect RDMA 则可形成:
Network
→ NIC / DPU
→ PCIe
→ GPU Memory
目的在于减少不必要的 Data Copy、CPU Participation 与 Latency。
这也是 NIC/SmartNIC/DPU 在 AI Cluster 里特别重要的原因:
GPU 算得再快,如果数据无法有效率进出 GPU,整个 Cluster 的实际运算效率仍可能受到网络瓶颈限制。
AI Server 应该使用 NIC、SmartNIC 还是 DPU?
没有一个答案适合所有 Server。
如果系统主要需要:
**High-Speed Ethernet / InfiniBand
- RDMA
- Basic Hardware Offload**
高效能 NIC 就可能已经足够。
如果需要:
**Programmable Packet Processing
- Virtual Switching
- Advanced Network Offload**
则 SmartNIC Architecture 可能更适合。
如果系统进一步要求:
**Networking
- Storage
- Security
- Infrastructure Isolation
- Independent Infrastructure Processing**
则 DPU 的价值会更加明显。
可以简化成:
|
需求 |
较可能的方向 |
|
高速网络联机 |
NIC |
|
RDMA / Network Hardware Acceleration |
NIC / SmartNIC |
|
Programmable Data Path |
SmartNIC / DPU |
|
Virtual Network Offload |
SmartNIC / DPU |
|
Storage Infrastructure Offload |
DPU |
|
Security Infrastructure Offload |
SmartNIC / DPU |
|
Infrastructure Isolation |
DPU |
|
Cloud / Multi-Tenant Infrastructure |
DPU |
|
AI Back-End High-Speed Fabric |
High-Performance NIC / Network Accelerator |
因此选型不能只问:
「DPU 是不是一定比 NIC 好?」
而应该问:
哪些 Infrastructure Workload 需要从 CPU Offload,以及系统需要多少 Programmability、Isolation 与 Independent Compute?
NIC 与 DPU 为什么也和高速 Cable 有关?
NIC/SmartNIC/DPU 最终仍需要透过 Physical Interface 连到外部 Network。
例如目前 ConnectX-7 与 BlueField-3 等 Data Center Adapter 可使用高速 OSFP/QSFP112 等接口,并支持最高 400Gb/s 等级 Ethernet 或 InfiniBand 联机。
因此完整 Network Path 不只是:
GPU → NIC
而是:
GPU
→ PCIe
→ NIC / SmartNIC / DPU
→ High-Speed Connector
→ Cable / Optical Transceiver
→ Switch
实际 Cable Selection 还需要确认:
**Protocol
- Port Type
- Data Rate
- Cable Length
- Host Compatibility
- EEPROM / Firmware
- FEC
- Thermal Condition**
同样使用 OSFP 或 QSFP Form Factor,也不代表 Cable、Protocol 与 Equipment 一定互相兼容。
在短距离 Rack Interconnect 中可能使用:
DAC
距离或 Electrical Reach 增加后则可能考虑:
AEC
AOC
Optical Transceiver + Fiber
因此 NIC/DPU 的 Network Architecture 与 High-Speed Cable Selection 本身就是同一条 End-to-End Channel 的不同部分。
SyncTronics 现有高速传输产品包括 SFP28、QSFP28、QSFP56 与 PCIe Cable Assembly,其中 QSFP56 200G Cable 即定位于 Data Center Switch、Server、NIC 与 HPC Equipment 等高速互连应用。
NIC、SmartNIC、DPU 核心结论
最重要的是不要把三个名词理解成单纯的性能排行。
NIC 的核心是 Host Network Connectivity,但现代高阶 NIC 本身就可以具有大量 Hardware Offload。
SmartNIC 强调 Programmability 与 Network/Infrastructure Offload,但产业并没有唯一固定的 SmartNIC Hardware Definition。
DPU 则进一步整合独立 Processor、Memory 与 Hardware Accelerator,让 Networking、Storage、Security 与 Management 等 Infrastructure Workload 可以在 Host CPU 之外执行。
对 AI Server 而言,真正需要评估的是:
**GPU Data Path
- PCIe Topology
- RDMA
- Network Offload
- Infrastructure Processing
- Ethernet / InfiniBand
- Port Speed
- High-Speed Cable / Optics**
而不是只比较:
NIC、SmartNIC、DPU 哪一个名称比较高阶。
随着 AI Cluster 持续提高 GPU 数量与 Scale-Out Network Bandwidth,Network Interface 已经从传统的「Server 网卡」,逐步成为整个 AI Infrastructure Data Path 的核心运算与互连节点。
SyncTronics 解决方案
AI Server 的 NIC、SmartNIC 与 DPU 高速互连需依 Ethernet/InfiniBand、Port Data Rate、OSFP/QSFP Interface、PCIe Topology、Cable Length、DAC/AEC/AOC/Optical、Signal Integrity、Thermal Condition 与设备兼容性进行完整评估。SyncTronics 可依 AI Server、NIC、Networking、Switch、Data Center 与 HPC 项目需求,协助进行 SFP28、QSFP28、QSFP56、PCIe 高速 Cable Assembly、Connector 与客制化电子互连方案的规格确认及 NPI 评估。
有线束、连接器、机电组件或客制化需求?欢迎与我们联络
如果您正在寻找合适的连接器、线材、线束加工、机电组件或电子互连解决方案,无论是产品选型、规格确认、少量试产(NPI)、OEM/ODM 客制化,或高速传输、高可靠度等特殊应用需求,金誉电子科技 可提供专业技术支持与评估。
欢迎前往【联络我们】页面,留下您的需求与联络信息。我们将以专业且快速的服务回复您的需求,根据您的产品规格、应用需求与项目条件,协助评估最适合的产品与电子互连解决方案,并提供相关技术建议与客制化支持,协助您缩短选型与开发时间、降低项目风险,让产品更顺利导入量产。期待有机会与您合作,为您的每一项项目需求提供值得信赖的技术支持与解决方案。
相关延伸文章
- Ethernet vs InfiniBand:AI GPU Cluster 高速网络怎么选?
- AI 数据中心 Scale-Up vs Scale-Out 是什么?GPU 高速网络架构完整解析
- AI 服务器内部高速线材怎么走?GPU、NIC、Switch 与 Cable 架构解析
- AI 数据中心高速线材怎么选?DAC、AOC、光模块与高速互连比较
免责与交流声明
本内容系依公开信息与产业经验整理,仅供技术交流参考,不构成任何商业、技术或法律之建议或依据。内文所述之规格、材料、制程、应用方式及相关信息,可能因设计条件、环境因素或使用情境不同而有所差异,相关内容不保证其完整性、正确性或适用性。
读者应视实际应用情境,与相关设计或技术负责人员确认适用性,并自行评估相关风险。