企业级数据中心新一代网络关键技术研究

    从网络角度看，网络设备虚拟化、基础设施资源整合及扁平化、多多站点流站点流量分担及负载均衡技术的引入，大大简化了数据中心网络分区、业务连续性和容灾方面的部署架构，同时在提升数据中心IT基础设施资源利用率和可管理性方面提供了技术便利。

 

 

    一、网络虚拟化技术

 

 

    出于安全性及可用性的考虑，一个典型的企业数据中心网络架构事实上至少具备多分区的特点。随着企业数据中心定位在集团化层面，为集团旗下的子公司提供全面服务，必然要求数据中心在多分区的基础上，需具备多用户、多分区的特点。不同的子公司（如独资公司、控股公司、参股公司等）管理策略各不相同，这就要求不同业务在同一套物理系统上运行时，需要 在网络层面具备优异的隔离能力，只有实现了真正的安全隔离，才能够实现多种业务整合在同一个网络系统上。

 

 

    传统的网络技术可在多个层面实现逻辑隔离，比如采用VLAN/PVLAN/VSAN 等实现数据链路层的隔离，采用 VRF/VPN 实现网络层的安全隔离，但这些技术在实现时是基于同一个进程及管理平面。

 

 

    现在数据中心的核心交换机上提供了更高一级的隔离技术，例如思科公司的虚拟交换机（Virtual DeviceContext，VDC）技术。通过虚拟交换机技术，一个交换机可以在逻辑上分为多个虚拟交换机，这些虚拟交换机之间是彻底隔离的，它们有各自独立的二层和三层的协议栈和进程，有各自独立的管理员，虚拟交换机之间是无法通过逻辑配置实现联通的。同时，由于他们的软件进程是完全独立的，当某个虚拟交换机出现问题的时候，不会影响别的虚拟交换机，实现了完善的故障隔离。通过虚拟交换机技术，数据中心把对安全要求高、原来必须运行在独立网络上的业务整合到统一的网络资源池上来运行，实现网络资源的灵活调度，保护数据安全并节能减排。

 

 

    二、板卡延伸技术

 

 

    交换机板卡延伸技术从物理架构上来看和传统的交换机架构没有质的差别，但在简化部署和提升传统基于生成树（Spanning Tree Protocol）的局域网的稳定性方面有了进一步的提升。

 

 

    一方面，板卡延伸技术具备了远端交换机零配置的即插即用的特性，在交换机部署上线、应急更换等方面具备了快速灵活的接入能力，大大减轻了数据中心的网络运维压力。

 

 

    另一方面，传统数据中心网络结构采用生成树协议进行收敛，二层网络的收敛时间会相对较长，同时会带来网络的不稳定因素，而且非常不利于故障的分析和诊断。板卡延伸技术通过IEEE 802.1qbh 协议，将原本互联在一起的多个机柜交换机（Top of Rack，TOR）交换单元的控制平面和转发平面融合在一起，从而大大减少了网络节点，简化了网络拓扑。

 

 

    板卡延伸技术综合了TOR 方式在布线上的优势和EOR方式管理节点少的优势。以思科公司的交换机为例，12 台TOR 交换机加2 台主控交换机的接入能力与2 台大型交换机的接入能力及逻辑管理相当，但大大简化了数据中心内部的综合布线。

 

 

    三、可扩展局域网技术

 

 

    传统的数据中心主要以处理结构化数据为主，关系型数据库如DB2、Oracle 被大量使用来做数据处理，传统的关系型数据库采用垂直扩展（Scale Up） 的方式来扩展数据的处理能力，通常来说处理的数据是TB 级别的，数据的块比较小，但I/O要求较高，而随着大量的网页、图像等非结构化的、PB 级数据在数据中心的应用，在计算集群内部，服务器和服务器之间出现大量的数据交互，数据块大，数据流的吞吐量也很大， 这就要求 承载这一计算集群的网络能够提供支撑超大规模计算节点无阻塞交换的能力。

 

 

    传统的二层网络，由于采用生成树协议，无法提供等价多路径（Equal-cost Multi-path，ECMP）的能力，也就无法提供大规模计算集群无阻塞交互的带宽。所以数据中心通常采用三层交换机作为接入交换机，以利用三层交换机的ECMP 支持能力。但这种模式把数据中心网络切分成了很多小块的二层网，在部署虚拟化应用时，有很大的局限性，因为很多的基于虚拟化的应用如VMotion、LPAR Mobility 等需要 一个二层网络的支撑。因此新一代数据中心的网络需要 在二层上提供大规模的网络扩展能力。

 

 

    思科公司推出的vPC是一种初步的可扩展局域网技术，它将两个交换机的转发平面整合并采用Port Channel 同时上联，实现接入设备同时接入到两个汇聚交换机，从而实现了双倍的聚合带宽。采用板卡延伸技术和vPC技术，可以有效扩展网络规模，同时减少生成树对于网络的影响。

 

 

    RFC5556 提出TRILL 链路层网络标准，该技术借鉴路由协议的稳定性和ECMP 特性，通过制定最短路径多跳标准以太网络透明互联标准，目标是支持用户建立超大规模的以太网络。由于生成树算法的制约，传统的局域网网络规模不可能做得太大，并极易出现链接失败和广播风暴而导致全局故障。TRILL 标准的制定使局域网具备了规模扩展和冗余并行传输的能力，可以有效地支撑计算集群内部的网状数据交互。目前绝大部分网络厂商开始支持TRILL 标准，同时一些厂商也推出自己私有的解决方案，如思科公司的Fabric Path 及Juniper的Qfabric 等。

 

 

    四、虚拟机感知技术

 

 

    数据中心的一个基本趋势是资源的虚拟化。计算和存储资源虚拟化以后，传统的网络由于只能认识到物理网卡，无法认识虚拟机，当虚拟机发生流动时（如VMware 的VMotion），相应的网络属性无法随动，也就无法适应虚拟化计算环境的特性。目前业界有两种方法实现网络感知到虚拟机：

 

 

    第一种方法是在服务器的Hypervisor 上安装软件交换机的交换模块，这些交换模块通过统一的软件交换机的管理模块来实现集中化管理。这种方法基于IEEE 802.1q实现，可以灵活部署在虚拟化服务器的Hypervisor 上，但运行的时候需要 消耗服务器的CPU 资源。

 

 

    第二种方法是采用前面提到的基于IEEE 801.1qbh 的板卡延伸技术，在服务器内装一块支持IEEE 802.1qbh 协议的网卡，这块网卡可以分成多个虚网卡来和虚机对应，同时这块网卡也是外部交换机的远程板卡，可以在外部交换机上实现管理和策略的下发等。这种方法不需要 消耗服务器的CPU 资源，所以具有更高的交换性能，同时这种方法与Hypervisor 无关，可以和多种虚拟化软件配合使用。

 

 

    从管理层面上讲，上面的两种方法基于策略的管理和下发都是集约化的，这样无论虚拟机流动 到数据中心的什么地方，对应于虚拟机的访问控制ACL、QoS 等网络属性都可以随之流动 ，从而确保全网网络策略的一致性。

 

 

    五、数据中心跨地域互联技术

 

 

    传统的跨数据中心互联通过三层路由进行互联，数据中心虚拟化及业务连续性运作等业务需求 提出了构建物理上分离但逻辑上一体的跨数据中心的网络互联要求。通过这个网络，计算能力可以在不同的数据中心之间自由流动 。只有把一个数据中心的局域网络通过延伸技术延伸到远端的数据中心，才能实现这样的业务需求 。目前已经出现了这样的一些技术，如企业只具备一个IP骨干网络的前提下，采用企业级的如Cisco OTV 解决方式，OTV 技术通过IP 骨干网建立连接关系，并交换数据中心之间的MAC 地址表。OTV 技术的优势是不需要企业维护部署类似运营商的MPLS 网络进行支持，大大简化了网络的维护。

 

 

    对于具备大量光纤线路资源的数据中心互联（如通过密集波分多路复用设备DWDM），也可以采用TRILL（Fabric Path）或vPC 的方式实现数据中心二层网络的打通。通过数据中心跨地域互联技术，可以通过IP网络实现多个数据中心的网络整合和虚拟化，实现计算资源在不同数据中心间的自由流动 ，也为双活数据中心的实现提供了网络保障。

 

 

    六、异地数据传输IP化整合技术

 

 

    在数据中心容灾方面，异地中心间基于FCIP 的传输已经成为磁带、磁盘数据传输（ 如XRC，HUR、SRDF） 的网络标准。FCIP 通过TCP/IP 网络承载FC/Ficon 协议进行传输，该协议可以作为通过DWDM 和裸光纤连接SAN 网的一项替代选择，适合在远距离传输时使用；结合IP 网络的QoS 服务及不同业务间的削峰填谷，可以大大降低广域网线路成本并扩大SAN 网络站点之间的最大传输距离。

 

 

    七、三网合一及虚拟化I/O技术

 

 

    传统数据中心至少存在两张网：前端的以太网，主要承载应用数据的交互；后端的SAN 网络，主要承载FC 存储的流量。有些数据中心还有为iSCSI、NAS 等设置的专门网络。多张网的存在，造成了数据中心网络事实上的分割，无法形成统一的虚拟化网络资源池，在服务器端也形成多种I/O 走各自不同的接口卡的状况，需要 更多的布线和接入交换机的端口。新一代数据中心以太网协议DCB 和承载FCoE 通过不丢帧及不同优先级的流量分配，实现网络I/O的整合和虚拟化。

 

 

    对于传统数据中心，尤其是可用性及安全性要求 极高的金融企业数据中心而言， 云架构理念及新的网络技术应用将是一个逐步演进的过程，大量虚拟化应用带来的精细化管理的挑战依旧存在。但随着数据中心流量模型变化、业务连续性运作和容灾等需求 的驱动，在云架构理念的影响下，网络逐步从层次化向扁平化过渡，新的网络技术已显着影响到数据中心网络分区、跨中心业务连续运作及容灾等方面的部署。