数据中心是承载信息应用系统的主要设施，是数字化校园的重要组成部分。近年来随着云计算的兴起，数据中心相关的新技术不断涌现，深刻改变着数据中心的建设理念。

　　现状和挑战

　　上海交通大学数据中心在闵行校区建有主机房，在徐汇校区建有容灾机房，主、备机房距离超过30千米，通过校园网络实现万兆互连，现阶段部署了120余台服务器，近一半的服务器采用虚拟化技术，2013年底将扩容到240台。

　　我们在数据中心建设时，主要面临以下挑战：

　　1、 如何最大限度地保护已有投资，并且积极引入新技术；

　　2、 网络安全的挑战，传统互联网数据中心一般采用出口防火墙控制，对校务、财务、人事和科研等核心系统的保护显然不够；

　　3、虚拟化支持的挑战，为了适应虚拟化迁移的需求，数据中心网络架构向大二层过渡，生成树协议支持冗余拓扑的效率较差；

　　4、 数据与存储网络融合，随着以太网的普及，FCoE技术日益成熟，数据中心应该如何支持FC、FCoE、iSCSI和NAS等多种存储协议，存储系统又应该如何适应虚拟化的要求；

　　5、如何实现跨校园网的多数据中心互联，实现备份容灾；

　　6、如何建设校园云计算环境，采用开源还是商业方案；

　　7、校园信息系统逐步向云计算迁移，但并不是所有的应用都适合迁移到云计算环境中，运维管理需要如何适应传统应用和云计算应用的共存情况。

　　针对以上问题，我们从网络架构、虚拟化应用、容灾系统、多租户实现、运维和安全监控、云计算环境等几个方面阐述我校数据中心建设方案。

　　数据中心网络架构

　　上海交通大学数据中心主、备机房网络架构如图1所示。

图1 数据中心主、备机房网络架构

　　1、服务器分区，提高安全性

　　闵行主机房的网络水平分割为WEB、应用、数据和云服务4个服务器区。考虑到学校云计算环境会采用很多新的技术，对安全性与稳定性的要求与生产系统有区别，因此单独设置了一个云服务器区。4个区均配置汇聚交换机，运行三层路由协议，与数据中心核心交换机通过多条万兆以太网链路互连。数据中心核心交换机通过2条冗余的万兆以太网链路接入校园网。在此架构下，每个服务器区的安全级别和策略可以不同，但每个区汇聚层基本上都是同类型相似的安全策略，容易设置和排错。服务器区内部是大二层架构，可以支持虚拟机的在线迁移。徐汇灾备机房交换机数量远少于闵行机房，借助VRF技术在逻辑上仍然保持了WEB、应用和数据3个服务器分区的架构。

　　2、交换机虚拟化，减轻对STP协议的依赖

　　核心交换机使用了2台H3C 10508V 交换机，2台交换机通过IRF2(Intelligent Resilient Framework智能弹性架构)在二层和三层上均虚拟成一台交换机，极大方便了交换机的管理。汇聚交换机使用了Cisco Nexus5500系列交换机，2个一组，在接入端启用vPC（Virtual Port Channel）实现跨交换机的链路聚合，配置VRRP实现默认网关的冗余。接入交换机使用了Nexus 2000 Fabric Extender和第三方的接入交换机，第三方接入交换机通过链路聚合双上行接入Nexus 5500 交换机组。服务器也是双链路上行，万兆端口可直接接入Nexus 5500，千兆端口则接入Nexus 2000和千兆接入交换机。这是一个无环的网络架构，能充分利用所有上行链路，STP 协议仍然启用，但只会在异常情况才会发挥作用。

　　3、数据与存储网络融合

　　近年来，IP存储的性能和稳定性逐步被认可，随着万兆以太网端口价格的不断下降，IP存储与光纤存储在带宽上的差距也基本解决。新兴的FCoE能实现传统FC存储网络向FCoE存储网络平稳过渡，EMC、NetApp、Dell等存储厂商均正式推出支持FCoE的SAN存储系统，多家厂商也推出了支持Windows、Linux、VMware vSphere ESXi的CNA网卡。有鉴于此，我校在建设新的数据中心网络时决定走数据与存储网络融合之路。数据服务器区的Cisco Nexus 5500启用FCoE功能，部分接口配置8G FC SFP模块，SAN存储系统选择了支持FCoE的NetApp FAS系列存储系统。NetApp FAS和服务器的万兆网卡接入Nexus交换机的万兆接口，在同一万兆端口上可以同时支持FCoE、iSCSI和NAS协议，原有配置FC网卡的存储设备和服务器接入到Cisco Nexus 5500的FC接口上，与FCoE网络融合。NetApp FAS的FC接口接入现有的FC交换机，为原有的FC SAN提供存储空间。考虑到各厂商的FC交换机有极强的排他性，我们没有将原有的FC 交换机与Nexus 5500互连。随着时间的推移，FC SAN 设备将自然淘汰，数据中心将过渡到纯FCoE存储。位于WEB和应用服务器区的服务器主要通过IP 协议访问数据服务器区的存储。

　　融合网络极大减少了服务器物理接口的数量，减少了数据中心的设备数量。预计未来2年内，我校数据中心一半以上的服务器会配置万兆融合接口。

　　4、通过VPLS实现主备中心二层互通

　　我校的校园网络通过MPLS和VPLS实现多业务承载，数据中心借助校园网的这一特点，通过VPLS实现了闵行主中心和徐汇灾备中心的二层互通。校园网VPLS网络上的低延时能支持VMware的vMotion，支持存储的异地复制，支持主备中心的双活。因此，主备中心可以同时对外服务，极大提高了设备的可用性。