▲ 图 2-5 Chassis交换机复杂的硬件结构
总结
通过对比Chassis交换机和单芯片Box交换机，从转发性能、建网成本、运维成本、产品迭代等几个方面，说明Chassis交换机在DCN内部已经成为网络快速迭代的瓶颈。
总体上看，未来数据中心网络如果要快速平滑迭代、升级，Chassis交换机的问题必须要解决，采用基于单芯片Box交换机组网，去框化将成为未来的主流。
所谓的单芯片Box到底长什么样子？
前面我们花了大量的篇幅说明Chassis交换机已经成为未来架构持续演进的障碍，需要基于单芯片Box交换机替代，实现去框化，那么这个可以替换Chassis交换机的单芯片Box交换机到底长什么样子呢？ 目前在传统的DCN架构，如图 1-1所示，在T3层次采用的就是Chassis交换机，一般采用16槽位，配置36口100G的板卡，整机可以提供576个100G接口，如下图：
▲ 图 3-1 锐捷网络Chassis核心交换机RG-N18018-X
所以适合替代传统Chassis交换机的单芯片Box交换机应该具备尽量高的转发性能，可以提供更高密度的100G接口。根据当前交换机芯片产业界的情况，已经商用的最高单芯片转发性能是12.8Tbps，整机最高可以提供128个100G接口，1台传统16槽位Chassis对等4台单芯片Box交换机，具体如下：
▲ 图 3-2 锐捷网络单芯片 高密100G交换机RG-S6920-4C
以锐捷网络的RG-S6920-4C为例，整机采用一颗高性能交换机芯片，提供单向12.8Tbps的转发性能；提供4个可插拔的子卡，每个子卡提供32个100G接口，未来随着400G光模块的普及，可以更换8个400G
接口的子卡，整机提供32个400G接口。
基于单芯片Box交换机+多平面组的下一代超大规模数据中心网络
基于单芯片Box交换机的下一代25G/100G网络架构到底是什么样子？如下所示：
▲ 图 4-1 下一代25G/100G超大规模数据中心网络架构
整体概括来说，未来可以支撑规模持续平滑扩展的高性价比网络架构就是正交多平面的架构。 备注2：这里给出的只是一个建议的组网模型和思路，针对具体项目，需要根据收敛比的规划来调整相关平面和设备的数量
整个集群基于Leaf+Pod-Spine+Spine三级组成，其中Leaf+Pod-Spine组成Server-Pod，每个Server-Pod支持标准数量的服务器规模，作为标准化模块，整网通过横向扩容Server-Pod实现单集群服务器规模的平滑扩容，就像堆积木一样。
多个Server-Pod之间的网络通信，是通过与上层正交的多平面Spine设备进行互联。
同时，在Server-Pod和Spine层级，都采用了高性能单芯片Box设备，即整机提供128个100G接口，整网交换机设备只有两种规格，大大简化组网、运维。
标准化、横向可扩展的Serve-Pod
Sever-Pod由Leaf+Pod-Spine组成，对于25G网络来说，Leaf层产品端口形态一般是48x25G+8x100G，收敛比是1.5:1；Leaf设备上行通过8个100G接口连接到本Server-Pod内的8台Pod-Spine。
每个Server-Pod具体可以支撑多少台服务器的连接？在Pod-Spine设备端口数量一定的情况下，就取决于Pod-Spine设备的收敛比规划设计。
传统网络在Pod-Spine这个层面的收敛比设计一般为3:1，但是未来业务需要更低的收敛比，以更好地满足计算与存储分离、在线与离线混部带来的超大东西向流量需求（跨Server-Pod）；同时考虑Leaf层交换机收敛比一般都是1.5:1，所以建议Pod-Spine最低也能支持1.5:1的收敛比，通过计算，对于128口100G的单芯片Pod-Spine设备，采用80个100G端口下行，48个100G端口上行，最终收敛比可以做到1.67:1左右。但是考虑初期建设成本及网络流量的增长是逐渐升级的，所以可以先采用2.5:1收敛比，即采用下行80个100G端口，上行32个100G端口，减少Spine层面设备数量，Pod-Spine设备剩余空闲的端口可以满足未来扩展，进一步降低收敛比。
在这样的规划下，每个Server-Pod中，如果每台服务器采用双25G链路上行，那么单Server-Pod可以支持48x(80/2)=1920台服务器，如果每台服务器采用单25G链路上行，单Server-Pod可以支持48x80=3840台服务器。
对于这样的收敛比设计，如果单集群要支撑10万台服务器，只需要横向扩展52个Server-Pod，如果要扩展支持更大的服务器规模，无非是Spine层面128口单芯片交换机设备划分更多的下行端口连接更多的Pod-Spine，至于最大能支持多少Server-Pod，这又取决于Spine层面的收敛比设计。
统一、高性价比的多平面Spine
讲到这里，我们会发现Spine层面设备在传统DCN设计中采用的多槽位Chassis设备，但是在我们下一代25G/100G架构中，被单芯片128口100G的Box交换机替代，实现去框化。所以在考虑Spine层面的收敛比设计时，基于128口100G的设备规划。
对于Spine层面，也是平行多平面设计，与Server-Pod呈现平面正交的连接，目的是保证为所有Pod-Spine之间提供最大化的冗余连接，整体基于ECMP实现相同的跳数，保证最短的路径转发，也简化了网络的规划。
关于Spine层平面的数量，从图 4-1中可以看到，Spine平面的数量其实对应每个Server-Pod中Pod-Spine设备的数量。按照当前Server-Pod的规划，整网需要设计8个Spine平面，每个Pod-Spine上行对应一个独立的Spine平面。
每个Spine平面有多少台设备，取决于Pod-Spine的收敛比设计。按照之前Pod-Spine建议的收敛比设计，每个Spine平面需要规划32台Spine设备，那么8个Spine平面，一共需要规划256台的Spine设备。
之前已经提到，Server-Pod最终可以扩展多少，取决于Spine设备的收敛比设计，根据业内的一些经验，同时考虑各集群之间的东西向流量，即DCI的流量，建议单集群Spine层面至少可以扩展支持到3:1的收敛比性能。按照单集群10万台服务器规模最终有52个Server-Pod，对于每个Spine设备来讲下行方向至少分配52个100G接口，上行方向分配16个100G端口连接MAN设备就可以提供3:1的收敛比，未来可以
随着Server-Pod规模的调整和收敛比的需求，灵活调整上、下行100G端口的分配，整体来说，Spine的128个端口数量非常的充裕。
一个完整的数据中心不只是Leaf和Spine
我们之前详细描述的内容只是针对一个DCN的最受关注的部分，即Leaf、Leaf-Spine及Spine，但是只有这三个部分是不完整的，如何实现集群之间的互访、如何对外提供业务呢？所以对于一个整体的数据中心园区来讲，整体架构应该是什么样子？
针对整个园区来说，我们建议的完整架构是基于内网和外网分离的方式，建设超大规模的数据中心园区。
▲ 图 4-2 基于单芯片Box交换机组网的超大规模园区架构
首先，内外网分离。外网就是连接运营商，实现最终用户访问数据中心业务的网络。内网主要是实现数据中心内部服务器之间的东西向流量。采用内外网分离的组网建议，目的在于保证成本增加较少的情况下，让网络的边界更加清晰，简化网络设备的数据规划和管理，实现运维的独立。
第二，建议以园区为单位建设一个集中、独立的GW（Gateway，网关）区域，例如Load-Balance、NAT（Network Address Translation，网络地址转换）、专线接入网关等，这种设计的考虑一方面在于GW业务对服务器的配置和性能要求与普通业务不同，而且两者对网络性能的要求也有较大差异，独立建设方便规划、运维，获得更好的收益。
第三，在园区一级建设MAN平面，实现同园区各集群之间东西向高速互联，或者通过MAN连接其他园区。对于MAN平面网络设备，如果确认对交换机大容量缓存等能力没有强需求，则也可以考虑去框，采用基于单芯片128口100G的Box交换机建设，实现建设成本和运维成本的降低。这里假设了每个平面部署6台，一共8平面进行建设。
之前园区的架构是一个三维立体的示意图，为了方便大家理解，这里展示的是二维平面图，具体如下：
技术盛宴丨聊聊下一代25G100G数据中心网络 - 图文
