将企业资源管理服务虚拟化

    由于企业内部的IT资源基础构架日趋庞大，大量异构的物理资源存在于不同的部门，多种资源管理系统并存，使得管理非常复杂，资源利用率低下。另外，应用需求不断改变，在线服务请求经常不可预测，这种动态的环境要求企业的数据中心或计算中心能够对各类资源进行灵活、快速、动态的按需调度。因此，如何搭建合理的资源管理基础架构，以及怎样管理复杂的资源系统，使得资源能被有效管理和按需服务，自然成了企业信息平台发展中亟待解决的基础问题。

    我们提出一种虚拟资源管理服务模型——虚拟管理构架(VMA，Virtual Management Architecture)，旨在为企业建立一个合理、统一的资源管理基础构架，以实现资源和资源系统的统一管理以及资源的按需服务。虚拟管理构架可以管理和调度的资源包括存储资源、服务器资源、文件系统资源、集群资源和用户系统资源等系统级的资源。基于网络存储，我们实现了虚拟管理构架的最小系统，它包含三个子系统，即三种虚拟化资源管理系统：虚拟存储资源系统(virtual storage device resource system，简称VSDS)、虚拟计算资源系统(virtual computing resource system，简称VCRS)、虚拟用户系统资源系统(virtual user system resource system，简称VUSS)。虚拟存储资源系统提供虚拟化的存储资源服务，虚拟计算资源系统提供动态组合的计算资源服务，虚拟用户系统资源系统提供虚拟化的用户系统资源服务。

    企业需要虚拟管理构架

    虚拟管理构架是一种以虚拟化技术为基础，融入自主调度技术，统一了管理和使用接口的资源管理构架模型。虚拟管理构架由多个资源管理系统组成，每个资源管理系统提供一种虚拟资源服务，这些虚拟资源服务包括虚拟存储服务、虚拟服务器服务、虚拟文件系统服务、虚拟集群系统服务、虚拟用户系统服务等系统级的资源服务。虚拟管理构架将这些虚拟资源服务系统的管理功能统一到一致的管理平台，并提供灵活的、快速的、动态的多种资源服务，为企业提供合理的统一的系统资源管理基础构架。

    图1 虚拟管理构架模型的构成

    图2 VMS的结构模型

    图3 虚拟计算资源系统的虚拟化

    虚拟管理构架想达到两个目标：即资源和资源系统的统一管理和资源的按需服务。资源的统一管理是指将资源以集中和一致的方式进行管理或使用，屏蔽资源的物理异构性和地理分布性，各个资源系统之间具有统一的管理接口，消除多种资源系统间的操作差异，提高系统集成度，从而减轻管理复杂度。资源的按需服务是指能够按需分配资源，能够动态、自主地提供资源服务，以满足应用对资源需求的变化。

    虚拟化技术是实现资源的统一管理和按需服务的基础。它有两方面的功能：首先，将物理资源虚拟化成统一的逻辑资源视图；其次，提供组合而成的高级资源形式。用户不仅能获取单一类型的资源，比如存储空间和计算能力，也能快速获得组合类型或更高级形式的资源，比如用户环境、商务环境等。无论单一类型还是组合类型，它们都具有统一的逻辑视图，因而可以统一管理。统一管理使得资源很容易被分配或调度，从资源“数量”的角度支持了资源的按需服务。多种资源的快速组合和获取，则从资源“类型”的角度支持了资源的按需服务。

    资源的自主调度技术能够自主地、动态快速地调整资源以满足应用的需求。系统可以动态地分配、回收和调度资源，自主地使资源升级运行或降级运行。这些过程可以尽量减少人的干预，承担人不必、不想或者无法完成的动态配置和调节等任务，进一步将管理员从管理任务中解放出来。资源的自主调度技术从资源“智能化”的角度支持了按需服务。

    统一的管理和使用接口是实现资源系统统一管理的重要方法。传统的管理系统都是针对某个资源来单独设计并实现，管理系统与其所管理的资源紧密地耦合在一起。不同资源系统的管理模式和流程往往差异很大，造成了系统难以集成在一起，管理难度增加，管理员往往需要学习多个资源系统的管理方法。我们对资源系统抽取统一的管理模式和流程，形成统一的管理和使用接口封装，使各个资源系统的管理方式统一化，类似于虚拟文件系统(Virtual File System， 简称VFS)的抽象。管理和使用接口的具体实现在各个资源系统内部完成。从管理的角度看，管理员只需要使用同一种方式便可以管理不同的系统资源服务；从使用的角度看，用户在请求存储资源和请求计算资源的时候，流程并没有什么不同；从系统的角度看，它也增强了系统间的互操作性。同时，虚拟管理构架可以容纳多种虚拟资源管理系统，具有良好的扩展性。只要新的虚拟资源管理系统具有统一的管理和使用接口封装，便可以融入虚拟管理构架中来。

    如何构建虚拟管理构架

    虚拟管理构架由一个或多个虚拟资源管理服务(Virtual Management Service，简称VMS)和一个系统注册和查询服务(System Register and Check Service，简称SRCS)构成，提供VMS之间的依赖关系的抽象。其中VMS是以一定的物理资源为基础、提供某类虚拟资源的虚拟化管理和调度服务。SRCS是虚拟管理构架中的注册查询服务，提供VMS服务的注册和查询功能，实现虚拟管理构架服务的发现机制。VMS之间的依赖关系是指当一种虚拟资源服务使用另外一种虚拟资源服务提供资源时建立的依赖关系。如果VMS-A使用了VMS-B提供的虚拟资源，那么就说VMS-A依赖于VMS-B。虚拟管理构架中各个系统的启动顺序可以是随机的，每个VMS记录了自己的依赖关系，当它所依赖的服务都启动并且可用时，此VMS才可用。

    如图2，VMS的结构模型分为四层：物理资源管理、虚拟化功能、自主调度功能、逻辑资源管理。

    物理资源管理层负责管理VMS的物理资源，包括物理设备的配置和管理、物理资源空间的管理、资源使用和运行状况的监视、失效的监控恢复等操作，对用户的请求进行实际的执行操作；虚拟化功能层实现物理资源到逻辑资源的虚拟化，管理它们之间的映射关系；自主调度功能层提供资源的按需、动态、快速调度功能，以满足应用的动态需求；逻辑资源管理层负责接受和转发对逻辑资源的请求，对逻辑资源进行配置、分配、释放、管理、查询、监视等操作，维护一个统一的逻辑资源地址空间。

    构建基于网络的虚拟管理

    根据虚拟管理构架模型，我们实现了基于网络存储的虚拟管理构架最小系统。它包括三个VMS：虚拟存储资源系统(VSDS)、虚拟计算资源系统(VCRS)、虚拟用户系统资源系统(VUSS)，每个系统都提供一种类型的虚拟化资源。虚拟管理构架最小系统还实现了SRCS服务注册和查询服务。下面介绍虚拟用户系统资源系统、虚拟存储资源系统、虚拟计算资源系统的功能以及相应的虚拟化技术。

    虚拟存储资源系统对多个网络存储设备节点(Storage Node，简称SN)进行管理，为用户提供大容量、动态可扩展的虚拟存储空间(Space)。分配给用户后，用户就可以像使用本地磁盘一样使用虚拟存储，分配给用户的虚拟空间也叫虚拟存储设备(virtual device，简称VD)。

    物理资源管理层对SN集群进行管理和监视。SN是自带处理器和内存的智能存储设备，提供物理存储空间。虚拟存储资源系统物理管理层监视SN的空间使用情况，并提供SN设备信息和状态信息，而且实现了SN的配置、注册、启动/停止、动态上下线等控制功能。虚拟化层将形式如(SN，SN内的地址)的物理地址转换成全局统一的逻辑地址，并管理虚拟存储空间到SN之间的映射关系。虚拟存储空间到SN的映射是多对多的关系。这种灵活的映射关系可以提供大容量、跨设备的虚拟存储空间。逻辑资源管理层管理逻辑资源地址空间，监视逻辑资源使用情况，为应用服务器创建、删除、配置、动态扩展虚拟存储空间，并提供虚拟存储空间启动、停止、查询等控制和监视功能。

    虚拟计算资源系统是一种基于网络存储的虚拟计算环境。该系统对计算节点池和系统数据空间进行管理，为用户提供可动态组合的虚拟服务器，并可以根据应用需求快速地调整应用系统的计算资源。使用虚拟服务器时，用户不需要知道底层实现细节，感觉跟使用实体服务器一样。

    虚拟计算资源系统的虚拟资源是动态组合的虚拟服务器，虚拟计算资源系统逻辑资源层对它们进行相应的管理，监视和控制虚拟服务器的使用和运行状况等。

    虚拟计算资源系统的虚拟化是通过将计算节点和系统数据绑定，来动态虚拟出不同的服务器。网络存储设备被划分成若干个不同的网络块设备，每个块设备上存储不同的系统数据，通过网络块设备协议与计算节点的网络磁盘接口相连接。节点机开机以后，就会把某一个或某几个块设备绑定到自己的系统中，成为自己的本地磁盘设备。节点计算机运行网络块设备上的系统数据，生成可用的虚拟服务器。当虚拟服务器关机后，资源重新被还原成独立的计算节点和系统数据。每个计算节点和不同的系统数据绑定，就可以生成不同的虚拟服务器。这种重构是动态的。

    虚拟计算资源系统具有存储与计算分离的计算模式，使得计算环境的构建更加灵活，能够快速地完成服务的动态部署，满足了应用环境对不同类型和数量的服务器的动态需求，在公共数据中心和大型企业环境下有良好的应用前景。

    虚拟用户系统资源系统将虚拟存储资源系统提供的虚拟存储设备和虚拟计算资源系统提供的虚拟服务器作为物理资源，为用户虚拟出另一种类型的虚拟资源——虚拟用户系统(VUS ，Virtual User System)。虚拟用户系统是一种包含资源、管理和服务的具有特定功能的完整系统。虚拟用户系统的管理员可以管理本虚拟用户系统的资源和服务。虚拟用户系统的实例如通常的万维网服务系统、邮件集群服务系统等。

    虚拟用户系统资源系统的物理管理层管理虚拟服务器池和虚拟存储设备池，为虚拟化层提供虚拟服务器和虚拟存储设备的属性和使用信息，提供资源启动、停机、分配、释放、绑定等功能，并监视虚拟服务器和虚拟存储设备的运行状态等。

    虚拟用户系统资源系统的虚拟化层管理虚拟用户系统到虚拟服务器和虚拟存储设备的映射关系。虚拟化的过程是分配相应的资源、进行资源的绑定、部署用户需要的软件、配置服务的流程，从而定制用户特定的虚拟用户系统(当然也可以由用户自己部署服务)。

    虚拟用户系统资源系统将系统的搭建和部署过程进行抽象和提取，实现系统的灵活搭建、配置和管理，这些抽取的共性功能包括系统的启动和停止、系统启动顺序的配置、系统服务的查询、资源的配置、服务的定制与部署，并提供个性化的定制等。虚拟用户系统资源的分配、管理的定制和服务的部署，都是由虚拟用户系统资源系统通过虚拟化功能完成。

    虚拟用户系统资源系统的逻辑资源管理层管理虚拟用户系统，监视虚拟用户系统的使用情况和运行情况，提供虚拟用户系统启动、停机通知等控制功能。

    虚拟用户系统资源系统可以实现系统的快速搭建和简单集中管理。用户可以马上使用搭建好的虚拟用户系统，也可以在它的基础上进行二次开发。这使得用户搭建和开发软件系统的周期大大缩短，用户只需要关注于自己的核心软件业务的开发，而且在开发不同的系统时，用户不必开发相应的对外管理平台，解决了系统集成难、复用性不好的问题。

    构架虚拟管理最小化

    虚拟管理构架最小系统由虚拟用户系统资源系统、虚拟计算资源系统、虚拟存储资源系统和SRCS以及它们之间的依赖关系构成。虚拟用户系统资源系统、虚拟计算资源系统和虚拟存储资源系统都需要向SRCS注册本服务、查询所依赖的服务或注销本服务。虚线表示服务的发布与发现，而实线箭头方向表示资源的提供与使用关系。

    虚拟存储资源系统提供虚拟存储设备，虚拟计算资源系统提供虚拟服务器，虚拟用户系统资源系统提供虚拟用户系统(VUS)。

    其中虚拟用户系统资源系统和虚拟计算资源系统都依赖于虚拟存储资源系统，即虚拟存储资源系统为虚拟用户系统资源系统和虚拟计算资源系统提供虚拟存储设备。虚拟用户系统资源系统依赖于虚拟计算资源系统和虚拟存储资源系统，即虚拟用户系统资源系统使用虚拟服务器和虚拟存储设备。

    虚拟存储资源系统的物理资源是实际的存储设备，虚拟计算资源系统的物理资源是实际的计算节点和虚拟存储资源系统提供的虚拟存储设备。虚拟用户系统资源系统和虚拟计算资源系统使用虚拟存储设备的方式是完全一样的，而且虚拟用户系统资源系统使用虚拟服务器和虚拟存储设备的方式也是完全一样的，只是资源属性不一样而已。

    这三个系统可以通过基于Web的统一管理平台进行管理。三种不同资源的使用和管理方式都是相同的，比如创建、删除、启动、停止等。根据资源类别的不同，各个VMS分别实现具体的操作语义。

    虚拟存储资源系统或虚拟计算资源系统可以直接为用户提供资源，并不局限于虚拟管理构架。新的VMS也可以加入虚拟管理构架中，只要它符合虚拟管理构架的管理和使用接口。我们考虑将蓝鲸文件系统也整合到虚拟管理构架中，更进一步，我们将开发虚拟的集群系统，并加入虚拟管理构架。这些将使得虚拟管理构架更加完备，虚拟用户系统资源系统提供的虚拟用户系统也更加丰富强大。

    链接:VMA的未来

    虚拟化资源管理服务模型能够为企业建立一个合理的统一的资源管理基础构架，能够对资源和资源系统进行统一的管理和使用，能够提供资源的按需服务，从而实现系统资源的有效管理，为实现企业按需计算或效用计算提供系统基础。

    目前，在基于网络存储实现的虚拟管理构架最小系统中，虚拟存储资源系统和虚拟用户系统资源系统能够稳定地工作在一起，并且已经投入试用；虚拟计算资源系统已经单独投入使用。虚拟存储资源系统支持存储容量为32T，支持2048个虚拟存储空间；虚拟用户系统资源系统已经测试支持50个并发虚拟用户系统，每个虚拟用户系统同时拥有20到30个资源；虚拟计算资源系统可支持100个计算环境同时使用。虚拟管理构架系统在进一步的完善过程中，在已实现的系统基础上，我们正在研究资源的自主调度。

    VMA未来的工作集中在进一步整合和调整虚拟管理构架、完善各系统的功能和提高性能、自主调度和自主计算等几个方面。我们将整合新的VMS到虚拟管理构架中，蓝鲸分布式文件系统正在与虚拟管理构架进行整合。同时进一步调整虚拟管理构架，利用CIM1/WBEM2对系统进行标准化建模和调整，增强和其他系统的兼容性；调整SRCS的功能，增强服务自发现功能。我们将丰富和完善虚拟存储资源系统、虚拟用户系统资源系统、虚拟计算资源系统等的功能，进一步优化和提高系统性能。我们也在考虑虚拟用户系统资源系统和虚拟计算资源系统的结合将产生的新的应用。最后我们将在系统中融入自主计算思想，加入自主调度技术，实现资源自主运行系统，使VMS能够更加智能化、自主化，进一步降低管理复杂度。