RDMA能给数据中心带来什么

数据中心现状

伴随着新基础设施将5G，人工智能，工业互联网列为新的基础领域，机器学习，智能语音交互，自动驾驶等基于高性能计算的大量应用层出不穷这些应用带来了数据的爆炸式增长，给数据中心的处理能力带来了巨大挑战

计算，存储和网络是推动数据中心发展的三驾马车伴随着CPU，GPU，FPGA的发展，计算能力有了很大的提高伴随着闪存盘的引入，数据访问延迟大大降低可是网络发展明显滞后，传输时延高，逐渐成为数据中心高性能的瓶颈

在数据中心，70%的流量是东西向流量，一般是数据中心高性能分布式并行计算的进程数据流，通过TCP/IP网络传输如果服务器之间的TCP/IP传输速率提高，数据中心的性能自然会提高

我们来看看服务器之间数据TCP/IP传输的过程，找出时间都去了哪里，从而对症下药。

服务器之间的TCP/IP传输

在数据中心，服务器A向服务器B发送数据的过程如下:

1.CPU控制数据从a的应用程序缓冲区复制到操作系统缓冲区。

2.将TCP和IP报头添加到CPU控制数据的操作系统缓冲区。

3.添加TCP和IP头后的数据传输到网卡，添加以太网头。

4.报文由网卡发送，通过以太网传输到服务器B的网卡。

5.服务器B的网卡卸载报文的以太网头后，会传送到操作系统缓冲区。

6.CPU控制操作系统缓冲区中的消息，以卸载TCP和IP报头。

7.CPU控制卸载的数据传输到App缓冲区。

从数据传输的过程可以看出，数据在服务器的缓冲区被多次复制，TCP和IP头需要在操作系统中添加/卸载这些操作不仅增加了数据传输延迟，而且消耗了大量的CPU资源，无法满足高性能计算的要求

那么，如何构建一个高吞吐量，超低延迟，低CPU开销的高性能数据中心网络呢RDMA科技可以做到这一点

什么是RDMA。

RDMA是一种新的内存访问技术，它允许服务器直接高速读写其他服务器的内存数据，而无需操作系统/CPU耗时的处理。

RDMA并不是一项新技术，它已经广泛应用于高性能科学计算中伴随着数据中心高带宽，低延迟的发展，RDMA逐渐应用于一些对数据中心性能要求较高的场景比如2021年，某大型网上商城双十一交易额再创新高，达到5000多亿，比2020年增长近10%如此巨大的交易量背后，是海量的数据处理网上商城采用RDMA技术支持高性能网络，保证了双十一的购物顺畅

让我们来看看RDMA使网络实现低延迟的独特技巧。

RDMA将服务器应用数据直接从内存传输到智能网卡，智能网卡的硬件完成RDMA传输消息的封装，解放操作系统和CPU。

这使得RDMA有两个优势:

Zero:不需要将数据拷贝到操作系统的内核状态并处理包头，传输延迟会大大降低。

内核旁路和协议卸载:不需要操作系统的内核参与，数据路径中没有复杂的头处理逻辑，不仅降低了延迟，还大大节省了CPU资源。

三个RDMA网络

目前RDMA网络大致有三种，分别是InfiniBand，RoCE和iWARPRDMA最早属于Infiniband网络架构，从硬件层面保证可靠传输，而RoCE和iWARP都是基于以太网的RDMA技术

无限带宽

InfiniBand是专为RDMA设计的网络。

采用直通转发模式，减少转发延迟。

基于信用的流量控制机制确保无丢包。

需要InfiniBand专用网卡，交换机，路由器，建网成本最高。

已动用资本回报率

传输层是InfiniBand协议。

RoCE有两个版本:RoCEv1基于以太网链路层，只能在L2层传输，RoCEv2承载基于UDP的RDMA，可以部署在三层网络中。

它需要RDMA专用智能网卡，不需要专用交换机和路由器，因此网络建设成本最低。

iWARP

传输层是iWARP协议。

IWARP是以太网TCP/IP协议中TCP层的实现，支持L2/L3层传输大规模联网TCP连接会消耗大量CPU，所以很少使用

IWARP只要求网卡支持RDMA，不需要专门的交换机和路由器，建网成本在InfiniBand和RoCE之间。

Infiniband技术先进，但价格高，应用仅限于HPC高性能计算RoCE和iWARPC的出现，降低了RDMA的使用成本，促进了RDMA技术的普及

在高性能存储和计算数据中心使用这三种类型的RDMA网络，可以大大降低数据传输延迟，为应用提供更高的CPU资源可用性其中，InfiniBand网络为数据中心带来极致性能，传输延迟低至一百纳秒，比以太网设备低一个数量级RoCE和iWARP网络为数据中心带来高性价比基于以太网的RDMA充分利用了RDMA高性能，低CPU占用率的优势，建网成本不高基于UDP协议的RoCE比基于TCP协议的iWARP具有更好的性能结合无损以太网的流量控制技术，解决了丢包敏感问题RoCE网络已经广泛应用于各行业的高性能数据中心

标签

伴随着5G，人工智能，工业互联网等新领域的发展，RDMA技术的应用将越来越普及，RDMA将成为数据中心高性能的巨大贡献者。