CN104468212B

CN104468212B - 一种云计算数据中心网络智能联动配置方法及系统

Info

Publication number: CN104468212B
Application number: CN201410728270.4A
Authority: CN
Inventors: 梁伟; 张赣; 于金萍; 毕经平
Original assignee: Institute of Computing Technology of CAS
Current assignee: Institute of Computing Technology of CAS
Priority date: 2014-12-03
Filing date: 2014-12-03
Publication date: 2017-08-08
Anticipated expiration: 2034-12-03
Also published as: CN104468212A

Abstract

本发明公开了一种云计算数据中心网络智能联动配置方法及系统，涉及计算机网络管理技术领域，该方法包括：提取该云计算数据中心网络中的资源运行信息与资源配置信息；根据该资源运行信息与该资源配置信息，分析获得该云计算数据中心网络中服务器的状态信息与链路的状态信息；根据该服务器的状态信息与该链路的状态信息进行如下处理：当该服务器的CPU利用率异常或该链路的利用率异常时，通过迁移该服务器中虚拟机的位置进行调整。本发明有效的解决了当前云计算虚拟化数据中心网络策略配置不灵活，复杂度高以及无法感知云计算平台资源利用情况的问题。

Description

一种云计算数据中心网络智能联动配置方法及系统

技术领域

本发明涉及计算机网络管理技术领域，是一种根据云平台资源利用信息，智能联动地完成云计算数据中心网络配置调整的方法。

背景技术

云计算(Cloud Computing)，作为目前信息技术的最新进展，正在潜移默化地变革着人类社会的生产与生活。它通过分布式计算、虚拟化等技术，构建用于资源和任务统一管理调度的资源控制层，将分散的ICT资源集中起来形成资源池，动态按需分配给应用使用。近年来，随着云计算技术的迅猛发展，一方面，搜索、社交网络、多媒体音视频、科学计算、数据挖掘等传统的“大数据”业务已经向云平台迁移；另一方面，越多越多的企业开始部署和实施云计算战略。

网络管理的自动化和智能化是云计算数据中心发展的必然趋势。随着云计算技术的迅猛发展，计算、存储、网络的虚拟化已经被广泛应用，然而这些资源特别是网络资源的自动化和智能化管理却仍然处于起步阶段。当前云计算虚拟化数据中心网络策略还存在配置不灵活，复杂度高以及无法感知云计算平台资源利用情况的问题。

数据中心网络(Data Center Network,DCN)，作为云计算平台的底层基础设施发挥着不可替代的重要作用。它用于连接大规模的物理和虚拟服务器，并为上层云计算应用提供高吞吐率、低延迟、多路径和易管理的通信服务。近年来，随着国家政府的大力支持和企业云战略的逐步实施，云计算数据中心被大量建设。当前的云计算数据中心网络呈现出如下几个方面的新特征：(1)数据中心网络规模扩大和设备数量激增。(2)数据中心的虚拟化程度不断提高。(3)数据中心网络流量模型变化。上述新特征给目前云计算数据中心网络的监控管理和运维优化带来了前所未有的挑战，主要体现在以下几个突出的方面：

网络安全和隔离策略不灵活，在当前的虚拟化云计算数据中心网络中，网络安全和隔离策略通常是通过二层VLAN，三层子网，网络设备级访问控制列表以及防火墙规则等传统方式实施。这些来自传统IP网络的安全和隔离策略制约着当前虚拟化云计算平台中资源动态配置和实时迁移的灵活性。

网络配置管理复杂度高，虽然虚拟机可以通过当前的云计算管理平台(如OpenStack，EC2等)动态按需分配，但是与之对应的物理网络以及虚拟网络的控制层路径和网络策略则需要逐个设备去配置，这个过程不但枯燥乏味，而且容易出错。

无法感知云计算平台的资源利用情况，由于缺乏考虑云计算平台的资源利用情况，对多租户虚拟网络的单独管理容易造成整个云平台资源利用率的不均衡，并且当云平台资源利用情况变化时，无法实现对虚拟交换机网络策略的调优配置。

发明专利“一种数据中心自动配置方法及其设备”应用于数据中心二层互联网络，其中设置有地址发布设备和地址解析设备，各核心网络设备上配置有支持二层转发的VPN，各核心网络设备间建立虚拟二层连接，该方法包括：地址发布设备接收数据中心边缘设备在完成本设备的IP地址配置之后发送的注册报文，其中携带有该边缘设备的MAC地址和IP地址；地址发布设备缓存所述注册报文中携带的数据中心边缘设备的地址信息，并通过核心网设备间的虚拟二层连接，将所述边缘设备的MAC地址以地址簇为VPN-MAC路由的形式发布。本发明可在数据中心发生迁移、接入的运营商变化等导致数据中心的边缘设备的IP地址发生变化时，动态自适应的进行数据中心配置，而无需人工干预。该专利能够自动配置数据中心网络设备的MAC地址和IP地址，然而该专利的方法一方面没有提供配置数据中心虚拟网络策略的方法；另一方面其无法合理地利用云平台上统计的资源利用信息以调整网络配置，配置方法不灵活。

发明专利“云计算数据中心中的虚拟网络管理系统及方法”(专利申请号201210130269.2)，涉及网络系统结构和网络通信协议技术领域。该系统包括：物理服务器，与数据中心核心交换网相连，其上具备至少一个支持OpenFlow相关协议的交换机，且物理服务器与控制器相连；控制器，构建虚拟网络，维护虚拟网络的配置，及虚拟网络与虚拟广播域和本地广播域之间的映射关系，对一台或多台物理服务器上的交换机进行配置和控制。本发明的系统及方法能够有效地减少数据中心核心交换网广播和二层地址表及转发表的压力，利于实现大规模；同时，能够将不同用户的流量进行有效的隔离，增强安全性；并且使数据中心的虚拟网络配置能够快速地随虚拟资源的动态分布而进行灵活变化。

这种方法存在着以下两个缺陷：1.网络配置管理复杂度高，不但枯燥乏味，而且容易出错；2.无法综合考虑云平台整体的资源利用情况，对多租户虚拟网络的单独管理容易造成整个云平台资源利用率的不均衡，并且当云平台资源利用情况变化时，无法实现对虚拟交换机网络策略的调优配置。

本发明站在全局的角度综合考虑云平台整体的运行情况，及时感知云内资源利用变化情况，并智能联动的对云平台整体网络配置进行调整，使得云平台整体运行效率保持最优。

发明“一种面向云计算的数据中心管理系统”，涉及一种面向云计算的数据中心管理系统,它由:通用文件系统API模块、资源监控模块、资源告警模块、策略配置模块、规则引擎、资源调度模块、执行模块和资源虚拟化API接口模块组成；通用文件系统API模块与资源调度模块电连接；资源监控模块与资源告警模块电连接,资源调度模块分别与资源监控模块、资源告警模块、规则引擎、执行模块电连接；策略配置模块与规则引擎电连接；执行模块与资源虚拟化API接口模块电连接。所述面向云计算的数据中心管理系统对数据中心计算和存储任务进行合理调度,实现数据中心智能调度,改善数据中心的服务质量、提高可靠性降低运营维护成本。

这种方法未能结合SDN(软件定义网络)技术对云计算数据中心进行管理，使得网络配置策略不够灵活，无法针对网络设备流表等内容进行配置。

本发明研究基于软件定义网络的智能联动优化配置技术，其中对于云计算数据中心虚拟网络自动化配置管理方法的攻关有助于解决网络虚拟化后的运维管理问题；而对于基于云平台资源利用信息进行智能调优技术的攻关则有利于实现将网络真正作为一种资源管理起来。最终，有利于提高虚拟化云计算数据中心的运维管理水平，提升云平台资源利用率，有利保障云业务的服务质量。

发明内容

为了解决上述问题，本发明提出了基于软件定义网络的云计算数据中心网络智能联动配置技术。首先通过当前的云计算管理平台获取整个云平台的资源利用信息，在此基础上通过软件定义网络技术合理调度和优化配置云平台中的网络资源，在满足多租户需求的同时提高整个云平台系统资源的使用效率。

本发明提供一种云计算数据中心网络智能联动配置方法，包括下列步骤：

步骤1：提取该云计算数据中心网络中的资源运行信息与资源配置信息；

步骤2：根据该资源运行信息与该资源配置信息，分析获得该云计算数据中心网络中服务器的状态信息与链路的状态信息；

步骤3：根据该服务器的状态信息与该链路的状态信息进行如下处理：

当该服务器的CPU利用率异常或该链路的利用率异常时，通过迁移该服务器中虚拟机的位置进行调整。

所述的云计算数据中心网络智能联动配置方法，该步骤3还包括：

当该服务器CPU利用率高于80％，查找该服务器中CPU利用率最大的虚拟机，将该虚拟机迁移到CPU利用率低于40％且拓扑位置与该服务器最近的新服务器，直至该服务器的CPU利用率低于70％为止；

当该服务器CPU利用率低于20％，将该服务器内的虚拟机迁移到CPU利用率低于40％且拓扑位置与该服务器最近的该新服务器，并将该服务器休眠；

当该新服务器CPU利用率高于60％，将休眠状态下的该服务器启动，并将该新服务器中的虚拟机迁移到该服务器，直到该服务器CPU利用率高于20％为止；

所述的云计算数据中心网络智能联动配置方法，该步骤3还包括；

当该链路的利用率高于70％，查询通过该链路的大型数据流，并将该大型数据流的起点虚拟机迁移到该大型数据流的终点虚拟机所在机架下的服务器，并使该机架下的服务器的CPU利用率在20％至80％之间。

所述的云计算数据中心网络智能联动配置方法，该步骤3还包括：当虚拟机要部署在该云计算数据中心网络时，将该虚拟机部署在CPU利用率最低的服务器中；并分析该服务器连接的热点链路，使该虚拟机的数据流绕过该热点链路。

本发明还提出一种云计算数据中心网络智能联动配置系统，包括：

资源利用模块，用于提取该云计算数据中心网络中的资源运行信息与资源配置信息；

运行状态分析模块，用于根据该资源运行信息与该资源配置信息，分析获得该云计算数据中心网络中服务器的状态信息与链路的状态信息；

资源智能联动调整模块，用于根据该服务器的状态信息与该链路的状态信息进行如下处理：

所述的云计算数据中心网络智能联动配置系统，该资源智能联动调整模块还包括：

所述的云计算数据中心网络智能联动配置系统，该资源智能联动调整模块还包括；

所述的云计算数据中心网络智能联动配置系统，该资源智能联动调整模块还包括：当虚拟机要部署在该云计算数据中心网络时，将该虚拟机部署在CPU利用率最低的服务器中；并分析该服务器连接的热点链路，使该虚拟机的数据流绕过该热点链路。

技术效果：云平台网络资源配置智能联动配置的技术效果就是要根据云平台的资源利用信息与云中业务的资源需求信息，合理的调度和配置云平台中的网络资源以满足多租户需求并且提高资源的使用效率，本发明提出基于软件定义网络的智能联动优化配置技术，能够对于云计算数据中心虚拟网络进行自动化配置管理，有助于解决网络虚拟化后的运维管理问题；能够基于云平台资源利用信息进行智能的资源优化调度，有利于实现将网络真正作为一种资源管理起来，总体的技术效果是能够在满足多租户需求的同时提高整个云平台系统资源的使用效率，有利于提高虚拟化云计算数据中心的运维管理水平，提升云平台资源利用率，有利保障云业务的服务质量。

附图说明

图1为智能联动应用效果图；

图2为智能联动具体实施方式图；

图3为资源利用模型图。

具体实施方式

本发明需要通过云计算平台(如OpenStack、EC2等)的已有接口获得云平台的资源利用信息，例如物理服务器CPU/内存利用率，数据中心网络流量矩阵以及其它云平台性能信息等；云计算数据中心网络中的物理或者虚拟交换机需要支持软件定义网络，如现有的OpenFlow协议；需要在云计算平台中独立部署一个控制器节点，该节点既能够与云计算管理平台通信，也可以与云平台中支持SDN(软件定义网络技术)的设备通信，可以作为云计算管理平台的插件，也可以单独存在，用于进行智能联动的优化配置。

(一)云计算平台资源利用信息模型

为了智能地对云平台中的网络资源进行管理，需要实时掌握云平台全局的运行参数与资源使用情况，综合统筹地对网络资源进行集中管控。云计算平台资源利用信息模型，以准确描述当前云内资源运行情况为目标，定义一套可以完整、准确反映云内资源状态的指标体系，为上层的资源优化配置决策提供丰富详实的资源利用信息。云计算平台资源利用信息模型主要包括两个部分，第一部分是运行参数，包括虚拟资源的运行参数与物理资源的运行参数，对这些数据进行挖掘、归纳、整理，形成网络带宽利用率、网络流量大小等物理及虚拟网络资源性能指标，以及CPU利用率、内存占用率等物理及虚拟计算资源性能指标；第二部分是配置信息，主要针对网络配置信息，其中既包括channel-group(通道组)、虚拟网络端口ACL等虚拟网络配置，也包括VLAN划分等物理网络端口配置，更重要的是需要对基于SDN技术的网络配置进行采集，如控制层路径、流定义等。

云计算平台资源利用信息模型的建立采用独立挖掘与云平台管理数据复用相结合的技术，对云平台中已经存在的数据，如CPU利用率等，直接进行复用，对SDN网络配置、虚拟网络配置等需要独立挖掘的数据，采用调用相关管理API或基于SSH调用命令接口的方式获取。

技术效果：云计算平台资源利用信息模型能够高效采集云平台的资源利用信息，从设备运行参数、网络性能指标、流量信息矩阵等海量信息中过滤抽取出能反应刻画云平台当前运行情况的关键信息，并加工整理成一个对上层资源分配具有指导意义的模型体系，为后续基于云平台实时资源利用信息的智能联动配置提供丰富的决策信息。

(二)云平台网络资源配置智能联动配置

云平台网络资源配置智能联动配置主要解决如何根据全局资源利用信息与各业务对资源的需求信息调整云平台网络资源分配，在满足业务需求的前提下，调整网络资源配置，使得网络性能最优化。首先利用传统的流量整形、带宽分配等配置手段为各租户分配需要的资源，再利用流量工程等基于SDN的配置手段实现对全网性能的优化。在满足业务需求的前提下，优化链路利用率，缓解网络热点负载压力，尽量避免拥塞，已达到提升资源利用效率，优化网络性能的目的。

首先将问题抽象成一个基于多维背包问题的数学模型，即需要将M种网络资源放入N个业务背包内，满足所有业务背包的需求，利用最优化方法求解该问题，使得M种网络资源的利用率最优化。其中，最优化问题如下式所示：

s.t.p_i≤b_i(i＝1,2...n)

其中p_i为每个业务所占有的网络资源，n为云中业务的总个数，b_i为保证业务正常工作的资源需求。使得的网络资源分配总量最小，但是为每个业务分配的资源必须满足其需求。

然后需要基于高置信度的预测算法，准确估计调整算法所带来的性能提升与调整过程本身造成的资源消耗，当收益消耗比高于我们事先定义的算法触发值时，启动网络资源智能联动调整机制，对网络资源进行重新分配。为了最优化执行网络资源调整机制的收益消耗比，采用定量分析的方法预测调整后的性能提升情况，即精确量化分析网络配置调整后会对网络产生的影响，如核心链路利用率、平均带宽使用情况等，与当前的状态进行比较，然后基于历史数据预测本次调整会产生的资源消耗。当两者之比达到一个基于经验的触发值时，启动网络资源智能联动调整算法，对全网的网络资源进行重分配。

以下为本发明的具体工作流程，如图3所示：

资源利用模块，资源利用模块作为一个单独的节点，部署在云平台中，负责抽取云平台中的资源运行时的信息与资源配置信息，并将其模型化后传递给运行状态分析模块进行分析处理，资源利用模块分为运行参数与配置参数两大部分，其具体的组成形式为一个XML文件，格式如下：

<vcpu>vcpu utilization</vcpu>

<vtraffic>virtual traffic</vtraffic>

</virtual>

<cpu>cpu utilization</cpu>

<traffic>traffic</traffic>

</physical>

</runtime>

<vcpuconf>virtual cpu configuration</vcpuconf>

<vport>vport configuration</vport>

</virtual conf>

<cpuconf>cpu configuration</cpuconf>

<networkconf>network configuration</networkconf>

</physical conf>

<SDNconf>SDN configuration</SDNconf>

</SDN conf>

</configuration>

运行状态分析模块，运行状态分析模块主要负责通过收集到的XML文件分析数据中心服务器的状态信息与链路的状态信息，服务器状态信息的分析主要包括CPU利用率的分析，可以直接提取XML文件的相关内容得到；链路状态的分析需要结合资源利用模块中的服务器流量信息与SDN信息获得，通过服务器流量信息得到数据流的大小，通过SDN信息得到数据流的走向，当运行状态分析模块完成分析之后，将结果分别记录在以下三张表中，链路信息表：记录链路的起始地址，终点地址，链路带宽，链路利用率，使用该链路的服务器集合；服务器信息表：记录服务器的mac地址，IP地址，逻辑编号，CPU利用率，CPU频率；虚拟信息表：记录虚拟机的UUID(编号)，所在服务器，虚拟CPU数量，CPU消耗情况，虚拟流量大小等。

资源智能联动调整模块，当运行状态分析模块发现数据中心出现以下两种异常时，会自动对其进行处理：

CPU利用率异常：某服务器CPU利用率高于80％：寻找该服务器中CPU消耗量最大的虚拟机，对其进行迁移，迁移目的地为CPU利用率低于40％且拓扑位置最近的服务器，直至该服务器的CPU利用率低于70％为止；某服务器CPU利用率低于20％：将该服务器内的所有虚拟机迁移出去，迁移目的地为CPU利用率低于40％且拓扑位置最近的服务器，然后将该服务器休眠，达到节能的目的；服务器平均CPU利用率高于60％：将休眠状态下的服务器启动，并将与之相邻的且CPU利用率高于60％的服务器中的虚拟机迁移过来，直到其CPU利用率高于20％为止。

链路利用率异常，某条链路的利用率高于70％：寻找通过该链路的大型数据流，并将其的起点虚拟机迁移到其终点虚拟机所在机架下的服务器，并保证所选服务器的CPU利用率在20％至80％之间。

资源智能联动调整模块，当有新的虚拟机要去部署在云计算数据中心网络时，资源智能联动调整模块负责为其选择合适的服务器，并通过SDN技术为其规划流量路径，具体步骤如下：

分析虚拟机所属租户，为其选择部署机架(rack)；寻找该机架下CPU资源利用率最低的物理服务器，将该虚拟机部署于该物理服务器中；分析该物理服务器连接的热点链路，并对其进行SDN配置，使其流量绕过热点链路

以下为新租户接入时的工作流程，如图2所示：

当新租户接入时，运行状态分析模块首先分析其资源需求情况，然后执行资源智能联动调整模块，智能的为其分配网络资源，并完成配置优化，使云内网络全局保持最优。

本发明定时从云计算数据中心网络中获取相关运行参数，并通过资源利用模块获取相关参数，然后交由运行状态分析模块进行分析，并根据分析结果执行网络资源智能联动调整算法对全网性能进行调优。

Claims

1.一种云计算数据中心网络智能联动配置方法，其特征在于，包括下列步骤：

当该服务器的CPU利用率异常或该链路的利用率异常时，通过迁移该服务器中虚拟机的位置进行调整；

其中，该步骤3还包括：

当该新服务器CPU利用率高于60％，将休眠状态下的该服务器启动，并将该新服务器中的虚拟机迁移到该服务器，直到该服务器CPU利用率高于20％为止。

2.如权利要求1所述的云计算数据中心网络智能联动配置方法，其特征在于，该步骤3还包括；

3.如权利要求1所述的云计算数据中心网络智能联动配置方法，其特征在于，该步骤3还包括：当虚拟机要部署在该云计算数据中心网络时，将该虚拟机部署在CPU利用率最低的服务器中；并分析该服务器连接的热点链路，进行SDN配置，使该虚拟机的数据流绕过该热点链路。

4.一种云计算数据中心网络智能联动配置系统，其特征在于，包括：

其中，该资源智能联动调整模块还包括：

5.如权利要求4所述的云计算数据中心网络智能联动配置系统，其特征在于，该资源智能联动调整模块还包括；

6.如权利要求4所述的云计算数据中心网络智能联动配置系统，其特征在于，该资源智能联动调整模块还包括：当虚拟机要部署在该云计算数据中心网络时，将该虚拟机部署在CPU利用率最低的服务器中；并分析该服务器连接的热点链路，进行SDN配置，使该虚拟机的数据流绕过该热点链路。