ADC公司数据中心建设方案
3.3.2 数据中心分布层智能服务机箱
数据中心的网络智能服务由设计在分布层的智能服务机箱提供（Multi-Services Chassis）。单独的服务机箱可以不破坏高性能的一体化交换架构形成的数据中心主干，有选择的对三网合一的数据中心流量提供按需的网络智能服务。比如本地存储流量没有必要在传输过程中经过数据应用类防火墙的检查（存储网内有自己的安全访问控制机制），这样的设计比较容易实现类似的FCoE流量的无干扰直达。
智能服务机箱采用Cisco Catalyst 6500交换机，配置720G引擎和18个万兆端口，内置防火墙模块（FWSM）、应用控制模块（ACE）， 提供应用级安全访问控制和应用优化、负载均衡功能。
智能服务机箱采用双机冗余结构，利用Catalyst 6500的VSS虚拟交换机功能，两个独立的机箱完全可以看成为一个逻辑机箱，再通过共4个万兆上连至2个N7000上的分布汇聚层虚拟交换机上。VSS技术形成了一个具有1.44Tbps能力的智能服务机箱，再通过N7000的vPC技术，则形成了智能服务机箱和N7000之间全双工高达80Gbps的互连带宽。由于N7000和6500VSS上都预留了足够的万兆端口，这个捆绑带宽值根据未来智能服务处理性能的需要还可以成倍的平滑升级。物理和逻辑的连接示意图如下面所示。
物理结构图 逻辑结构图
在一期实施中，智能服务机箱内智能服务器硬件模块的部署密度不高——每个机箱内防火墙模块、负载均衡模块各一块，这样每个机箱内使用引擎加速技术的防火墙模块最大迸发吞吐量32Gbps，负载均衡模块最大四层吞吐能力16Gbps（而且不是所有都
21
ADC公司数据中心建设方案
需要负载均衡），完全满足当前业务需求，因此可以在实施中简化配置，改双机箱VSS结构为一主一备机箱方式，在以后随业务需求上涨，业务模块增多，再完善为双机箱负载均衡的VSS模式。
由于服务机箱内的防火墙模块和应用控制优化模块都支持虚拟化技术，因此还可以利用智能服务虚拟化实现基于每个数据中心业务组的定制服务策略和功能，使每个业务应用使用所需资源时不必过度关注其物理存在方式，从而实现与物理无关的跨平台智能服务调用（SODC的交互服务调用），极大的提高资源利用效率，减少了物理设施维护的复杂度。这部分将在后面智能服务的详细设计中加以阐明。
3.4 数据中心接入层设计
使用Cisco Nexus 5000和2000系列DCE接入交换机，可以实现数据中心接入层的分级设计。
本次建议XXX公司使用的是具有将近1.2Tbps交换能力、初始配置有40个万兆以太网端口的Nexus 5020交换机，以及具备48个10/100/1000M以太网端口、4个万兆上连端口的Nexus 2148T。Nexus 2000是5000系列的交换矩阵延展器，通过部署在柜顶（Top of the Rack，ToR）的2148T，可以将本地接入的高密度服务器上连到5020，4个上连万兆端口可以提供48个千兆端口中至少40个端口的全线性转发能力，通过连接多台2148T，5020可以将1.2T的惊人交换能力延展到多个机柜，实现高性能、高密度、低延迟的DCE服务器群接入能力。而且作为5020的延展设备，2148T无需自身进行复杂配置，所有管理和配置都可在其上游的5020上完成，大大简化了多机柜、高密度服务器接入设备的管理复杂度。
Nexus 5000和2000都是按柜顶（Top of the Rack，ToR）交换机的尺寸设计，1～2U的高度内紧凑的集成了高密度的DCE端口，但同时提供可热插拔的冗余风扇组和冗余电源系统，其可靠性远非其它传统以太网中固定接口小交换机所可比。
Nexus 5000是业界第一款商用化FCoE交换机，其所有万兆以太网端口都支持FCoE。同时Nexus 5000支持扩展16个1~4G Fiber Channel端口或8个1~8G Fiber Channel端口，完全支持Fiber Channel SAN交换机的完整功能特性。也即传统需要以太网卡、FC存储卡（HBA）、InfiniBand卡的主机，只需要一张FCoE的以太网卡（CNA）就可以实现三种网络的接入，用户在操作系统上也可以看见虚拟化的以太网卡、HBA卡和InfiniBand卡，而它们共享万兆的高带宽，Nexus 5000还可通过Fiber Channel接口连接传统的SAN网络，实现SAN/LAN的整合，通过这种整合和虚拟化实现资源的自由调度和最大化利用，同时成倍减少的网卡数节约了功耗，提高了可靠性，降低了维护成本。
22
ADC公司数据中心建设方案
XXX公司的20个主机、服务器机柜将分为两列，每列选两个列中柜（Middle of the Row），柜内部署Nexus 5020，而每列其它8个普通机柜在柜顶（ToR）放置Nexus 2148T。物理部署类似下图所示：
普通的机柜内放置千兆端口服务器，每机柜可容纳具有冗余网卡的千兆服务器高达20个。每列的两个列中柜（MoR）内可放置具备万兆以太网卡的高性能服务器、万兆FCoE卡的新型服务器、具备Fiber Channel卡（HBA）的服务器和SAN交换机，甚至将来可以扩展具备FCoE接口的盘阵。
提供两种实际物理接线的方法： 方法1：交叉冗余链接
每两个普通机柜的设备都与另一个机柜的Nexus 2148T冗余交叉上连，每个普通机柜柜顶（ToR）的Nexus 2148T又通过4个万兆交叉上连至本列的两个列中柜（MoR）内的Nexus 5020，每列两个列中柜（MoR）内的Nexus 5020冗余互连，并且再交叉上连至Nexus 7000的虚拟交换机上。物理连接类似下图所示：
23
ADC公司数据中心建设方案
方法2：以Nexus 5000为单位的冗余和负载均衡
这种方法保证对于每个Nexus 2000而言只连接一个Nexus 5000，避免跨越Nexus 5000的负载均衡，也即避免负载均衡时偶发的在两个Nexus 5000互连的链路上产生流量。这种方法的优点是负载均衡效果更好，避免两个Nexus 5000之间可能产生的拥塞（虽然可能性比较小），而且网络结构简单，易于管理。但缺点是冗余能力不如方法
24
ADC公司数据中心建设方案
1，由于方法1让每一个Nexus 2000交错连接，所以可以容忍2000、5000同时出现故障。
由于2000、5000同出故障的概率极低，而方案2更容易实施，管理复杂度更小，所以一期施工推荐使用方法2。
在服务器的分配应尽量遵循相互业务紧密、访问量大或需要相互进行虚拟机迁移和调度的物理服务器应放置在同一柜列（Row）的原则，即共用一对Nexus 5000。
上图每个机柜的20台服务器可以完全实现双网卡的Load Balance Teaming方式下的线性网络接入，即每台服务器2G带宽（4G吞吐量）的网络接入能力。在一期实施中，为简化服务器端设计，可以服务器网卡可以先采用Active/Standby的Teaming方式。
3.5 数据中心地址路由设计
3.5.1 核心层
XXX公司数据中心核心层与分布汇聚层之间采用路由端口，实现三层交换，建议使用OSPF路由协议。
3.5.2 分布汇聚层和接入层
分布汇聚层和接入层之间使用交换端口，实现二层交换。如前所述，当前的主流虚拟机软件，如VMware、Virtual Server等都需要在二层交换下实现虚拟机迁移，因此在数据中心接入层使用二层交换将方便虚拟机的迁移和调度。当前由于Cisco独特的VSS虚拟交换机技术和vPC跨设备端口捆绑技术的使用，可以实现在二层结构下完全没有环路，从根本上解决了生成树算法收敛慢、不稳定、故障多的问题，也使得在一个数据中心内二层结构下的可扩展性与三层结构没有根本的区别。如下图所示，只要经过适当设计，本项目接入层的二层部分将没有环路，快速生成树算法将只用于在误操作等极端情况下的防范手段。
25
大型企业数据中心建设方案 - 图文
