互联网数据中心网络25G组网架构设计

【网络组网架构】最常见的网络架构模型为二级网络架构和三级网络架构，本文为大家分析这两种架构与服务器规模、适用业务应用需求之间的对应关系。

发布时间：2019-04-17
点击量：
点赞：

分享至

我想评论

背景

为什么升级到25G以太网络？

过去的一年里，我们可以看到很多互联网数据中心的服务器接入已经从10G以太网升级到25G以太网，大家为什么要升级到25G以太网呢？

• 支撑高性能业务：主要配合业务的快速扩张和应用系统性能的提升，例如基于AI、大数据的互联网应用推动业务流量成倍增长；

• 支撑业务突发：存在业务突发的应用热点使得业务方需要基础架构做到全力支撑；
匹配服务器性能的升级：服务器CPU及存储I/O的性能升级，使得每台服务器网络吞吐性能增加，10G组网无法满足带宽需求；

• 单比特成本降低：对于公有云类业务，25G以太网实现网络单比特成本下降，降低运营成本；
技术红利：新一代的25G以太网交换机芯片，提供了丰富的技术特性，如Telemetry、RDMA（Remote Direct Memory Access，远程直接数据存取）等，大大提升了基础网络运维的效率，降低了成本。

在互联网数据中心中，25G以太网相比10G以太网在组网架构层面有什么变化？接下来就让我们一起来了解25G组网架构。

是什么决定了25G组网架构？

在部署建设25G数据中心网络时，为更好地进行产品选型和架构方案的确定，我们可以把影响因素归纳到两个方面：

• 服务器规模：指预期单集群中服务器的数量；

• 业务应用需求：指不同业务类型对网络收敛比、服务器单上联/双上联等方面的要求。

最常见的网络架构模型为二级网络架构和三级网络架构，下面将为大家分析这两种架构与服务器规模、适用业务应用需求之间的对应关系。

25G网络架构设计方案

二级网络架构

▲图1：二级网络架构拓扑图

如上图1中的两种二级网络架构拓扑图，我们针对服务器单上联/双上联方式、规模、设备选型、收敛比等方面进行分析如下：

▲表1：二级网络架构对比表

当单集群服务器规模在1000～2000台时，可以采用基于盒式（BOX）多核心二级架构即可满足需求，由于该架构中采用同系列单芯片交换机方案，对于PFC（Priority-based Flow Control，基于优先级的流量控制）+ECN（Explicit Congestion Notification，显式拥塞通知）+MMU（Memory Management Unit，内存管理单元）管理，芯片水线设置一致性高、协调性好，同时转发时延低、吞吐率高，整网可部署RDMA业务和网络可视化方案。

当单集群服务器规模在5000～20000台时，可以采用基于Chassis多核心二级架构，该架构Spine层核心设备有两种类型核心板卡可以选择，分别如下：

• CB类板卡，满足业务常出现多打一的场景，通过大缓存机制有效减少多打一场景下的丢包；

• DB类板卡，满足业务对于RDMA组网和网络可视化要求较高场景，同时该架构继承了基于BOX多核心二级架构的优势。

在二级组网架构中，我们可以基于单集群服务器规模和业务需求决定采用哪种架构，在组网中路由协议部分，在Spine-Leaf之间可采用EBGP（External Border Gateway Protocol，外部边界网关协议）协议，所有Leaf设备部署相同AS 号（Autonomous System number，自治域系统号），Spine层接收Leaf层路由后进行AS号替换，解决EBGP水平分割问题。当业务需要服务器双上联时，建议采用去堆叠方案进行Leaf层部署，具体细节详见《【第六期】如何实现数据中心网络架构“去”堆叠》。

三级网络架构

▲图2：三级架构拓扑图

对于单集群服务器规模超过2万台的超大型数据中心，Spine+Leaf的二级组网已经不能满足需求，且扩展性也变差。这时建议采用基于POD（Point Of Delivery，数据中心最小单元）横向扩展（Scale-out）的三级架构。

如上图2，每个POD内是Spine+Leaf的二级组网，服务器数量和网络设备数量标准化固定，多个POD之间再通过核心设备进行互联，从而实现更大规模的组网，解决灵活扩展的问题。我们通过POD数量、服务器规模、设备选型和收敛比来进行呈现如下表2：

▲表2：三级架构对比表

在三级组网架构中，同样也是相同的架构下两种设备选型，其中POD内部即为标准的Spine+Leaf二级架构，设备选型一致。在核心层进行区分选择，该选择如二级架构中的Chassis（CB类板卡）多核心二级架构和Chassis（DB类板卡）多核心二级架构的选择，在此不再赘述。但这里需要注意当业务需求部署RDMA业务时，建议将RDMA域的部署范围控制在POD内部，因为更大规模的RDMA部署，PFC和ECN报文的控制难度将极具增大，同时拥塞反压影响更为严重。如果要规划更大规模的数据中心，在单集群实现超过10万台服务器，就需要升级Spine层交换机设备，采用可提供128口100G的BOX设备，这样POD内可实现服务器规模翻倍。

下一代数据中心架构展望

据IDC（International Data Corporation，国际数据公司）预测，2025年数据中心要处理的数据量将达到175ZB，是2018年的5倍之多，且中国增长最为迅速，从2018年的7.6ZB预计到2025年增长到48.6ZB。在快速增长的数据面前，基础网络需要多方面的努力，例如从网络带宽的迭代升级和1:1网络收敛比的IP CLOS架构上进行改进，那么下一代组网架构在IP CLOS网络架构中是否还会采用Chassis设备，以及未来服务器接入将演进升级到什么形态以满足业务需求分析将在下一篇文章详细解读。

本期作者：王磊
尊龙时凯网络互联网系统部行业咨询