1、中国移动集团重点/联合研发项目结题汇报报告,2011年03月04日,项目名称： IT支撑系统云计算技术方案与规范项目编号：2010_LH_06,研究课题组,一. 开题计划完成情况,目 录,二、主要研究成果,1.1研究背景和目标：中国移动IT支撑系统硬件资源现状,IT支撑系统集中化建设后，随着用户和业务的发展，系统所需硬件资源越来越多，机器数量规模越来越庞大，占用面积越来越大山东公司BOSS系统现有52台P595（半配或满配）、22台P690 （半配或满配），经分系统有4台满配IBM P595、2台半配IBM P570，并且每年都以接近5060个主机（分区）以上的量级在增长在IT系统的建设和扩容
2、中，为了避免厂家绑定，采购的主机及存储设备型号众多，在生产环境中面临异构主机和阵列的环境,IT投资支出快速增长2009年辽宁公司的利润增长已经只有百分之十几，而公司在IT上的资本性支出与成本性支出还保持远高于20%的增长 硬件资源的投入成本上以小型机和阵列存储为主辽宁GEDC总体投资上服务器：存储：网络基本为4：4：2，而其中服务器中UNIX小机数量占两成，但是投资占六成。以辽宁移动GEDC的2009年第三方软硬件扩容工程项目为例，PC服务器（含两路刀片与四路机架）共66台，UNIX服务器（按每四颗CPU板为1个单位计算）19个单位，前者投资540万，后者投资800万,面临的问题和挑战,资源共
3、享问题：烟囱式建设模式下，各个系统资源之间互为孤岛，资源固定项目建设方式下根据业务峰值规划系统资源需求，容易造成占用资源大，设备利用率低系统压力不均，由于电信业务的峰值特点，造成同类设备的利用率存在较大的波动。由于资源无法共享，公司只能被动的采购更大容量的设备进行扩容异构阵列环境下不同的存储采用不同的数据复制、数据迁移软件，导致不同品牌阵列之间数据无法自由复制和迁移挑战：打破资源孤岛，实现资源有效共享和动态调整,部署周期问题：支撑新业务周期长，部门间容易产生矛盾随着移动业务的高速发展，新业务层出不穷，传统的新业务支撑需要从立项、采购、安装、开发、测试、上线等一系列流程，需要周期长，业务部门意见
4、大，无法快速满足一线和市场竞争的需求IT支撑系统资源能力规划困难，尤其是服务器，TPMC的估算方式和实际运算能力存在较大偏差，加之用户和业务发展存在不确定因素较多，往往未达到设计目标，部分系统已不堪重负，经常发生提前扩容的情况在这种情况下，市场部门面临业务支撑落后于市场开拓的问题，计划建设部门面临扩容频繁的问题，业务支撑部门面临运维、研发压力过大的问题挑战：建立新的资源规划使用模式，达成业务需求响应迅速、投资节省、系统稳定的共赢,面临的问题和挑战,资源配置不合理：系统粗放部署方式带来资源浪费业务系统的性能和可靠性要求各不相同，对于主机和存储的需求存在不同的需要由于早年的X86设备性能低下，大量
5、应用一直部署在小型机上，没有根据近年X86服务器的性能增长适时分流部分应用，造成建设成本的浪费一些系统将多类数据的存放收敛到单个阵列，造成某些对性能和可靠性要求较低的数据也使用了中高端阵列，造成建设成本的浪费挑战：硬件资源物尽其用,厂家隐性绑定问题：传统数据迁移与灾备工程中的存储绑定：在传统阵列级的数据迁移和灾备工程中，由于受到厂商限制，不但各厂家阵列之间甚至同一厂家不同型号的阵列间也是很难实现的，通常在灾备中心配置一台与生产相同的阵列主机到存储的链路管理一般使用磁盘阵列厂商所提供的链路管理软件，一旦该阵列的存储容量达到容量瓶颈，用户只能选择向同一厂商新购阵列，或进行复杂的数据搬迁工作来适应新
6、购异构阵列的情况 挑战：实现资源层面的多厂家完全竞争,运维问题：维护标准化程度差，维护效率低，成本高UNIX服务器和阵列设备运维管理接口不统一，无法实现统一管理，IT运维人员在多种管理工具，大量的设备之间疲于奔命在设备增长前提下，采用传统管理和技术方式管理数量庞大设备必然难以精细化管理挑战：建立自动化运维体系，统一管理资源层，提高运维效率,扩展性问题：集中处理模式下系统在大规模事务处理和海量数据分析场景出现资源瓶颈服务器和阵列设备单点的Scale up扩展能力有限挑战：利用分布式技术构建Scale Out硬件资源架构，满足业务发展对处理能力的需求,项目开题确定的研究目标,1,2,3,4,提出在
7、IT支撑系统中引入IaaS层云计算的技术路线和策略，形成中长期指导,技术研究,对关键技术进行测试验证，为试点实施提供技术可行性数据,结合省公司IT支撑系统进行试点实施，对云计算在IT支撑系统中实施的收益进行评估,策略规划,研究IaaS云计算的关键技术，进行原理分析和厂家方案的对比分析，并制定相关技术方案和规范，为云计算在IT支撑系统中实施的技术选型和方案制定提供技术依据,测试验证,试点实施,研究目标,1.2 主要研究内容及分工,“全面引入虚拟化技术虚拟化的引入可以从简单的存储系统、X86服务器入手，逐步扩展到UNIX服务器，最终实现异构、异地的存储和服务器资源虚拟和共享，通过集中管理实现智能化
8、的资源调度，提高硬件使用效率，降低能耗和维护管理成本，提升业务的安全性和可靠性。”“IT支撑云在管理信息系统、网络管理系统、业务支撑系统中引入虚拟化和云计算技术，为企业内部IT支撑服务” -跃总“云之旅”总结,IaaS的核心技术是对资源的虚拟化，实现资源的动态调度、按需分配，以促进资源的有效使用课题主要研究内容，围绕三个系统，聚焦虚拟化技术和硬件标准化，结合测试和试点工作提出IT支撑系统云计算的技术方案与引入策略,引入云计算技术,BSS OSS MSS,策略研究,测试试点,硬件虚拟化,X86替换小型机,分布式存储,技术分析,项目组对研究课题的分解和整合,原始课题,联合项目分工和输出成果,联合项
9、目分工和输出成果,1.3 开题计划完成情况总结,经集团技术部统筹规划，研究院牵头，协同山西、辽宁、上海、江苏、浙江、山东、湖南、四川8个省公司，依据开题的分工和时间计划，按时完成了各个子课题的试点和研究任务，以及所有研究文档的输出。,研究成果,技术分析报告3篇，技术规范类11篇，涵盖服务器和存储技术规范，以及对各类虚拟化技术的测试规范,完成8项测试工作和测试报告8篇，对各类虚拟化技术进行了测试验证,在技术分析和测试验证基础上，各省公司开展9项相关试点,完成研究报告12篇，对IaaS云计算在IT支撑系统引入的各个层面进行了全面深入分析,项目创新,项目针对前沿云计算技术，结合中国移动IT支撑系统现
10、状，做出了应用型创新工作对IaaS层云计算实施进行了全面的技术分析和测试在三大IT支撑系统中展开试点工作提出了中国移动IT支撑系统的引入策略专利情况：山西公司在项目研究中提出一项专利专利的公司编号：SX1009001所属项目编号：2010_LH_06专利名称：一种实现详单快速存储检索的逆向链表实现装置及方法专利申请主要解决的问题是在虚拟化存储平台上解决海量详单存储检索效率问题,一. 开题计划完成情况,目 录,二、主要研究成果,主要研究成果,目录,1,2,3,4,IT支撑系统云计算的引入和技术架构,技术引入方案和策略,IT支撑系统云计算资源池的管理,课题总结与展望,2.1课题研究的技术体系架构与
11、总体思路,研究技术体系架构：本课题聚焦于IaaS层面云计算落地方案与发展策略，研究通过虚拟化技术构建云计算资源池，通过X86平台替代小型机和分布式存储的引入，推动硬件资源向低成本和标准化方向发展，最后利用云计算资源的管理平台实现资源对上层应用的灵活交付,IaaS层云计算在IT支撑系统的实现方案的总体思路：服务器资源池，首先着眼于X86服务器的虚拟化整合，其次推动X86平台对小型机的替代，对于无法替代的小型机，利用虚拟化技术提高系统效益存储资源池，IT支撑系统主要采用FC SAN设备，因此首先采用存储虚拟化技术整合FC SAN设备，对上提供动态容量和不同性能的标准存储服务，然后放眼整体存储架构，
12、通过分布式存储的引入，探索存储层面向标准化服务器集群演进的途径资源池的管理，基于云计算的资源服务需求明确管理目标，结合产品的现状构建资源池管理平台,主要研究成果,目录,1,2,3,4,IT支撑系统云计算的引入和技术架构,技术引入方案和策略,IT支撑系统云计算资源池的管理,课题总结与展望,X86服务器虚拟化,UNIX服务器虚拟化,服务器虚拟化技术分类,隔离性高,灵活性高,操作系统级虚拟化在硬件之上构建虚拟层，建立多个逻辑分区或虚拟机,硬件级虚拟化在硬件架构上实现物理隔离分区，电气化隔离,应用级虚拟化在同一操作系统内，创建应用隔离容器,HP nPar，SUN DSD,HP vPar，SUN LD，
13、IBM DLPar,HP SRP，SUN Saloris Container，IBM WPar,VMWare ESX，Xen，KVM，Hyper-V,Parallels Virtuozzo,X86服务器虚拟化技术架构,操作系统级虚拟化,应用级虚拟化,原理：虚拟层是通过创建虚拟操作系统实例实现的，它再指向根操作系统的关键系统文件，这些指针驻留在操作系统容器受保护的内存中，提供低内存开销应用分析：虚拟化实例的密度很大，维护效率高；但隔离性差，应用对根操作系统的破坏，其他客户机也会跟着被破坏，实际应用较少,原理：hypervisor通过一个软件层在现有操作系统上实现硬件虚拟化，与容器架构不一样，II
14、型客户机提供了一个完整的、独立的、无依赖的客户机操作系统副本，通常利用半虚拟化驱动网络和I/O提高客户机性能应用分析：由于虚拟化功能必须通过宿主操作系统，客户机的性能大大低于裸金属架构，可用于开发/测试或桌面类应用程序,原理：该类hypervisor直接运行在系统硬件上，提供了更好的客户机性能。通过处理器虚拟化扩展增强，包括英特尔VT和AMD-V技术，hypervisor的性能得到大幅度提升应用分析：隔离性和性能表现均衡，目前是X86服务器虚拟化企业应用的主流选择,Type I：裸金属架构,TypeII：寄居架构,容器架构,X86服务器虚拟化技术适用原则,以下四种应用场景适宜引入X86虚拟化技
15、术：1、单节点处理能力要求低：通过分布式部署等方法，对单节点的部署处理能力要求低于单台物理主机的性能上限2、生命周期短：突发性业务处理多，需要频繁进行资源分配和收回3、负载波动大：存在明显的波峰波谷，且多个应用间的峰谷时间差异较大4、需求预测难：应用模型不成熟，资源需求估算困难，或者可能随时出现突发性增长其中第一条为绝对条件，必须满足；其他三条为选择性条件，符合程度越高虚拟化价值越大。结合应用场景与主流应用模式进行比较，可以得出适用性方面的一些结论：,结论：测试环境、WEB服务器、接口机等应用场景优先引入，数据库、中间件多节点集群、中间件HA集群、文件服务器等应用场景需要根据实际运行情况参照四
16、种应用场景进行分析，择机引入。,X86虚拟化关键问题-虚拟机存储,虚拟机存储使用策略,对HA及在线迁移有需求，且性能要求高的场景，建议使用FC-SAN进行虚拟机镜像文件存储。对HA及在线迁移有需求，对性能无严格要求，建议使用成本较低的IP-SAN。与IP-SAN相比，分布式文件系统DFS无优势，目前针对虚拟化平台技术不够成熟，且部分情况下性能更低，故目前不建议在服务器虚拟化映像文件存储中使用。对于HA及在线迁移无严格要求，建议使用成本最低，扩展性最好的本地磁盘进行虚机镜像文件存储（多块磁盘做RAID方式）。对于虚拟机应用，若无其它存储优化策略，建议采用虚拟磁盘文件的存储方式来使用存储设备。,X
17、86服务器虚拟化规范和测试工作,X86服务器虚拟化系统设备规范,研究院制定X86服务器虚拟化系统设备规范作为企业标准提供给集团和省公司，用于X86服务器虚拟化产品的选型、测试和合理应用规范内容包括X86服务器虚拟化的技术实现方式，典型系统架构功能要求：基础功能、快速部署、动态分配和虚拟化管理非功能要求：性能、可用性、可扩展性、可管理性、安全性等对外提供的接口要求,研究院依据中国移动X86服务器虚拟化技术规范开展功能和性能测试,测试产品：VMWare：vShpere；Microsoft：Hyper-V；Redhat：KVM；华为和Novell：Suse Xen测试结论功能方面基本都能够满足中国移
18、动X86虚拟化的基本功能要求在规范未做强制要求的少数高级功能上有所不同性能方面从24个虚拟机的SPECVirt压力测试的分数来看，各厂商虚拟化产品的性能差距不大，都可以满足中国移动X86虚拟化的性能要求不同虚拟化产品对于系统物理资源的消耗表现稍有差别，但影响不大,浙江业务支撑系统X86虚拟化试点,试点系统,业务支撑系统，营业厅现场管理系统,试点方案,虚拟服务器采用了4套HP BL685 4路刀片服务器，管理服务器采用了1套2路刀片服务器；存储系统复用了HP XP24000光纤存储系统虚拟化软件采用了Vmware Vsphere 4 enterprise edition，虚拟化管理软件采用Vmw
19、are Vsphere vCenter Server Standard，操作系统为Suse Linux 10.1。架构示意图如右图：,试点结论,营业厅现场管理系统作为WEB类和轻负载应用类业务，适合引入虚拟化技术；采用VMware虚拟架构解决方案，在可行性、可靠性及稳定性方面能够满足要求；共享存储上，后续考虑将存储改为中低端盘阵，以提高投资性价比；引入X86虚拟化后，对于人员、网络等维护管理方面提出了新的挑战。,江苏X86虚拟化试点,试点系统,网络支撑系统,试点方案,江苏网管系统针对8套网管系统、12种安全管理平台，实施PC服务器虚拟化，包括日志审计系统、安全管控平台、4A、网络投诉处理平台、
20、综合资源、信令监测、数据网管、传输网管等实施领域主要在Web服务器、数据采集机和网管接口机将原有120台服务器上的应用通过虚拟化整合到30台服务器上,试点结论,实践证明，虚拟化平台可以满足上述网管系统的业务需求共享存储利旧现有FC SAN设备，整体方案收到良好的投资效益新技术的运用也带来维护模式的转变，需进一步探索,效益评估-江苏网管支撑系统,注：虚拟化后的共享存储在现有阵列上划分，空间几十个G，IO消耗也很低，成本上没有计入,效益评估-GEDC大规模部署,风险分析,实现X86服务器虚拟化后，主要存在以下风险需要规避干扰风险：单个服务器上以虚拟机方式承载多个应用，其中一个出现故障后对其他应用的
21、影响管理风险：现有网管系统兼容性问题，需要引入新的管理软件兼容风险：不同虚拟化平台之间的互操作和统一管理问题,规避措施选择裸金属架构虚拟化方案，增强虚拟机的故障隔离度和系统稳定性做好与现有网管系统的集成工作具备一定设备规模的前提下，对不同虚拟化平台可采用第三方管理软件进行统一管理,应对措施,风险,X86服务器虚拟化引入策略,X86虚拟化技术发展已趋成熟，对于目前IT支撑系统内的X86服务器都可以考虑实施，但是虚拟化的实施要综合考虑成本和收益，避免为了虚拟化而虚拟化虚拟化实施应满足低利用率或动态部署原则对于虚拟化架构的共享存储设备，应评估FC SAN和IP SAN等不同方案成本对比虚拟化实施范围
22、的扩大有助于提高服务器整合比，实现效益最大化，建议对三大IT支撑系统统一建设X86虚拟化资源池虚拟化产品的选择上，应参考分级标准，合理选择，避免盲目采用成本最高的解决方案,原则二：当物理服务器上需要动态分配给不同应用系统使用时，应该考虑虚拟化,依据：虚拟机资源不与任何物理机绑定，虚拟机镜像可以方便分发、快速部署效果：资源被池化，可根据应用需要动态分配和回收，满足业务动态变化需求案例：生命周期短的临时应用或开发、测试系统，负载波动大、需求难以预测的系统如业务云资源池、IDC弹性计算业务等建议：需要自动化、具有策略性的的虚拟化管理系统,原则一：当发现多台物理服务器的资源利用率过低时，应该考虑虚拟化
23、,依据：利用虚拟化“一分多”的特性，同时运行多个虚拟机，共享资源效果：实现应用整合，提高利用率，降低TCO案例：小型业务平台、信息化、网管采集机等建议：在部署多个虚拟机时，可以考虑其对资源的不同需求，以及“错峰”效应,参考分级标准合理选择虚拟化功能,IT支撑系统X86平台替代小型机驱动力,有助于降低成本,有助于提高效率,目前小型机从CPU、硬件架构到操作系统一般都是厂家私有标准，相互之间不通用，缺乏互操作性不同服务器之间操作、管理都不相同，给应用开发、设备管理等都造成很大困难，影响业务部署、管理效率,小型机价格高，动辄数十甚至上百万元，企业IT系统投资巨大由于标准化问题造成软硬件绑定，不利于厂
24、商之间竞争，进一步加剧了价格居高不下,采用X86服务器替代小型机，符合云计算对服务器的技术要求，是IT支撑系统降低成本、提高效率的必然选择,2010年第3季度全球服务器增长（来自gartner）,X86平台替代小型机可行性分析,关键问题,评价服务器X86化是否可行，需要分析X86服务器相对于小型机，在性能、可用性、可扩展性、成本等关键指标是否占有优势或者相当,性能,性能是衡量服务器处理能力的指标，常用的性能指标包括TPCC、SPECCPU等既包括单机性能，也包括集群性能,可用性,成本,可扩展性,可用性定义为正常运行的时间与总时间之比，是确保业务连续不间断运行的能力，主要取决于服务器自身可靠性和
25、快速恢复能力冗余的部署能够大大提高系统可用性,可扩展性是服务器应对资源需求的变化而改变服务能力的难易程度可扩展性主要包括纵向扩展和横向扩展两种手段,既包括服务器购买，也包括配套软硬件及后期运维费用成本的考察应以满足同类应用、提供同等性能和可用性为基础,X86和RISC对比分析,从性能、可靠性、可扩展性等各方面来看，X86服务器能够提供与中低端小型机相比的能力，同时在成本、标准化等方面具有很大优势，能够满足大多数业务的需求，也符合IT系统云计算演进趋势,IT支撑系统X86平台替代小型机引入策略,利用X86服务器替代小型机符合云计算标准化和公司低成本高效建设的需求，应在保证业务可用性的基础上，对于
26、资源需求小的应用系统优选部署在X86平台上，积极试点在规模事务型应用中采用X86集群方式替代小型机，研究和试点在批处理和大型数据仓库等场景采用分布式处理X86集群方式替代小型机,小型机虚拟化的分类和代表产品,IBM虚拟化技术LPar和WPar,一个 system p 的系统平台，该平台被分割成多个 LPAR，每个 LPAR 上可以运行一个操作系统实例。LPAR 上可运行的系统包括 Linux，AIX 和 VIOS。在运行 AIX6 的 LPAR 中，又可以运行和管理一个或多个 WPAR,WPAR 是由软件创建的、AIX 6 映像中的虚拟化的操作系统环境。对于所承载的应用程序来说，每个工作负载分
27、区都是一个安全的、隔离的环境。WPAR 中的应用程序认为，它正执行于自己的、专门的AIX 实例中。对于大多数 应用程序来说，WPAR 就好像 是一个AIX 的启动实例。通 常，在WPAR 中，应用程序无 需修改就可以运行,IBM LPAR既逻辑分区指的是将一个物理的服务器划分成若干个逻辑的服务器，每个逻辑的服务器运行自己独立的操作系统，有自己独享的处理器、内存和I/O资源, 这些资源在各个LPAR之间是隔离的,PowerVM主要虚拟化技术适用原则,SUN虚拟化技术体系,按照CPU槽的颗粒进行分区最多的硬件分区数量多达24个完全的硬件故障隔离没有性能开销的损失几代CPU可以共存同一系统域可在线更
28、换,每个逻辑域是一个完整的虚拟机，包含可动态配置的服务器资源和各自独立的OS分区粒度小，内存以8KB的粒度分配域可单独配置、启动和关闭,无需服务器硬件的重启可隔离操作系统以上的故障,在Solaris核心中实现OS虚拟化动态资源管理系统环境，安全性和故障隔离 (zones)极轻量级实现，高密度部署理论极限 8000应用范围广范，可应用于各种类型的硬件平台,SUN服务器虚拟化技术适用原则,HP服务器虚拟化技术体系,nPar n OS image with HW fault isolationDedicated CPURAM & I/O,隔离性,灵活性,Node,vPar 2 OS + SW fau
29、lt isolationDedicated CPU, RAM,Hard Partition 1,Hard Partition 2,vPar 1 OS + SW fault isolationDedicated CPU, RAM,Virtual Machine 1OS + SW fault isolationVirtual + Shared CPU, I/OVirtualized Memory,Virtual Machine 2OS + SW fault isolationVirtual + Shared CPU, I/OVirtualized Memory,Application n Guar
30、anteed compute resources (shares or percentages),HP vPar/VM,HP nPar,Server Node,一个节点内部实现物理分区,集群内的每个节点安装单一系统映像,在一台物理服务器或一个物理分区内部,HP SRP,一个操作系统映像内实现安全分区,nPar 1 OS image with HW fault isolationDedicated CPURAM & I/O,nPar 2OS image with HW fault isolationDedicated CPURAM & I/O,nPar 3,Application 3,Appli
31、cation 2Guaranteed compute resources (shares or percentages),Application 1Guaranteed compute resources (shares or percentages),HP服务器虚拟化主要技术特征,HP不同分区技术的灵活应用,HP服务器虚拟化技术适用原则,小型机虚拟化技术小结,成熟度高,发展历史长,资源调控技术先进,存在厂家壁垒,IBM小型机虚拟化测试,测试环境一：山东本地P595DS8K,测试环境二：IBM中国系统中心P780,测试环境,由于山东公司本地系统环境限制，在济南、北京分别搭建了2套测试环境。测试
32、环境一在山东本地P5平台上负责常规LPAR、WPAR以及NGCRM应用软件版本的性能测试。测试环境二在IBM中心主要负责P6和P7新虚拟化特性测试,IBM小型机虚拟化测试结论,测试结论,IBM Power虚拟化测试中的功能性测试、管理组件测试、稳定性和高可用测试、以及性能对比测试均通过，且达到了虚拟化功能分析和应用前景的期望值使用动态LPAR技术，可以在不停应用的情况下，增加、减少或者移动一个专有分区中的CPU、内存和IO卡资源实时分区迁移技术可以将正在运行的AIX分区, 可以在不中断的情况下把负载从一个Power6/7服务器转到另一个Power6/7服务器，在迁移过程中，迁移分区和运行的业务
33、不会产生中断在同一个AIX 6.1操作系统内，可以成功实施多个WPAR（Workload Partition），在每个WPAR内部分别部署不同的应用，这些应用互相不会干扰利用HUAWEI BOSS NG1.2 L07版本进行15项关键业务的资源专用模式（Dedicated CPU）和资源共享模式（Shared CPU）的对比压力测试，证明共享CPU模式的性能只是略有下降（约3%）,山东公司IBM小型机虚拟化实践,试点系统,业务支撑系统，BOSS和CRM,试点方案,1、每台物理主机采用DLPar分为多个分区2、将同一业务一个中心主用端和和另一个中心备用端部署到同一台物理主机3、同一主机所在分区承
34、载业务为关键与非关键搭配，如测试系统，采用IO硬件隔离方式实现网络安全4、将主机剩余的资源和部分备份资源统一放在预留资源中，预留资源设置为“共享”模式：（1）同一主机的预留资源可以在生产系统峰值进行人工调整，预留分区资源不够的情况下，调配非关键业务的资源（2）新应用上线可暂时占用预留分区5、对于每个应用的分区资源依据实际运行情况进行周期性人工调整部署,山东IBM小型机虚拟化实践,试点结论,山东公司2005年开始试点，现在所有系统均支持DLPAR，部分测试系统使用微分区和VIOS通过结合容灾系统实现生产分区、容灾分区、测试分区等部署在同一台物理主机，搭建预留资源池。实现了资源动态调配应对定期和突
35、发资源需求、建立测试系统、快速搭建新业务分区等功能未来规划将新购置的P7系列小型机统一满足三大IT支撑系统的UNIX平台需求,SUN小型机测试结论,测试结论,基于T系列CoolThread服务器通过LogicalDomain软件可创建、控制、管理多个虚拟服务器，实现资源有效隔离与共享的有机结合，并实现部分资源的动态分配；对物理主机可以实现虚拟化的无缝转移，可以满足众多系统的虚拟化平滑过度Solaris Container虚拟化技术成熟可靠，可以将主机处理能力动态的分配给不同的虚拟机上的业务系统，快速部署能力可以将测试应用快速迁移至生产环境， container具备动态迁移能力，虚拟化后与虚拟化
36、前系统主机处理能力性能下降不超过1%Java类程序兼容性强，支持基于solaris container的跨平台迁移，oracle数据库也可实现基于solaris container的跨平台迁移Container方式下，每台物理主机需要预留1颗CPU(1个硬件线程)和少量内存作为虚拟机管理使用，且必须运行在Saloris 10之上,四川SUN小型机虚拟化试点,湖南SUN小型机虚拟化试点,硬件配置：1、两台sun sparc平台，三台x86服务器3、sun 6140共享存储软件配置：1、solaris10操作系统，sparc平台使用sparc版，x86平台使用x86版。2、oracle10g数据库
37、软件,试点结论,Container方式可以满足测试环境的需求现有container可以完全满足在sun平台下跨系统版本的平滑迁移，例如将solaris8的应用平滑迁移到solari10 平台。在这一部分中将主要测试一、虚拟化之后的部署和迁移的平滑性以及用户的便捷性。二、做完虚拟化之后的系统性能以相关资源占用情况。Solari10在sparc和x86都有相应的版本发布，另外一个测试目的将测试sparc和x86的互迁移能力（本次测试java类程序和oracle数据库的迁移）。未来小型机的应急预案中将考虑X86接管小型机的方案,试点系统,网络支撑系统，话务网管性能管理模块,试点方案,利用Contai
38、ner技术构建性能管理模块的测试环境验证Container的虚拟化功能和异构硬件平台间的迁移,HP小型机虚拟化测试环境,测试环境,在北京HP数据中心搭建测试环境被测设备：rx8640压力机：BL460c存储设备：EVA8400,HP小型机测试结论,测试结论,HP安腾小型机nPar、vPar和VM三种虚拟化技术可以实现对资源的不同粒度的动态调整，且调整中不影响上层应用HP的SIM管理工具可以实现对虚拟化环境的基础管理，实现对资源调整策略的管理性能表现上nPar和vPar差异不大，VM与nPar、vPar相比性能下降较大稳定性上，vPar和VM都通过了60小时的稳定运行测试，但是测试压力和测试应用
39、和现网系统还存在较大差异，因此要在生产系统中应用，还有必要做进一步测试，尤其是VM方式测试中发现的问题：HPVM不支持CPU超线程，影响到CPU的并行处理能力VM迁移对应用的影响：在迁移的Frozen Phase会造成网络中断，测试中的具体表现为5个左右的ping time out，实际中断时间在20-30秒左右,浙江HP小型机虚拟化实践,试点系统,业务支撑系统，营业系统,试点方案,综合运用nPar、vPar和HPVM技术（见上表），达到主机资源的有效利用动态nPar和vPar的分区资源采用不定期手工调整方式，应对应用的峰值需求，新机器装机时，预留部分资源，供实际上线后的整体运行调整,试点结论
40、,通过使用HP UNIX虚拟化技术，效果是明显的，有效提升资源利用率，节约机房空间，并大大降低运营管理成本前期采购成本相对较高，特别是高端设备成本、虚拟化软件及实施费用带来了额外的成本，但通过集中化形式的采购，该部分成本可实现尽可能的压缩风险在于大量应用集中部署在少量物理高端UNIX服务器上，一台UNIX服务器整体宕机的影响会超过虚拟化实施前，但是高端UNIX服务器通过背板、电源设计等的大量冗余设计，提升了可靠性，降低了停机时间，当然应用部署上也可以通过双机等形式实现高可用。,风险分析,实施虚拟化后，尽管灵活性和利用率提高，但也面临如下风险：单台物理主机故障影响面增加，以前的单台物理主机故障只
41、影响1个业务，现在可能影响多个业务复杂性增加，问题排查环节增多，分析问题难度增强。采用虚拟化后，物理主机能力增强。虽然整体功耗降低，但单台主机的功耗、温度散热等也提出了更高挑战，局部通风过热现象更明显,规避措施加强双机接管技术，尽管近来出现了在线分区迁移等技术，但是仅适用于主动性的计划内迁移，对于故障造成的异常宕机不能支持。加大虚拟化各环节的监控，需要网管增加监控细节研究机房内部集中散热和功耗问题的改造解决方案,应对措施,风险,效益分析,浙江公司以4台64core HP ISD整合48台HP RX6600的3年总体拥有成本进行分析,小型机虚拟化引入策略-总体策略,首要保证各业务系统运行的性能和
42、可靠性，小型机虚拟化技术的引入兼顾技术的成熟度和资源调控的灵活性，针对不同类型的小型机，选择不同的分区技术应用策略对生产系统的资源动态调整，应采用手工调整方式，忙时调整应对高峰资源需求，周期性调整应对资源需求基线的变化，对测试系统可配置策略方式实现资源的自动调配生产系统与测试系统，可部署在相同的小型机上建立共享资源池，但不应采用共享网卡虚拟化技术，采用独立的硬件资源以及VLAN，以满足网络安全策略的要求,IBM小型机虚拟化引入策略,鉴于IBM小型机虚拟化如DLPAR等技术已经非常成熟并有长时间的关键生产业务验证，因此可以直接引入，对于所有系统均可考虑采用DLPar专享资源技术，更充分享用分区灵
43、活性的特性基于AIX6以上的小业务系统和测试环境，采用WPar技术实现高密度部署,SUN小型机虚拟化引入策略,Container虚拟化有跨平台的特点，相比其他两种虚拟化方式更适合构建云计算资源池在部署应用数量多和应用峰值变化明显的场景下，SUN小型机虚拟化优选Container虚拟化Container方式下可实现小型机应用的低成本应急方案，当小型机资源紧张，或发生故障的情况下，可将Container连同应用迁移到安装Solaris 10的X86服务器上对于关键应用，如核心应用数据库等，可采用硬分区或逻辑分区方式，但在操作系统兼容的前提下，建议积极向Container方式演进建设上采用集中化、两
44、端化的方式，核心关键应用部署在新购高端服务器的物理分区上，限制增加中间中低端服务器，现有中端设备进行利旧支持非关键业务和测试类应用。新增非关键业务集中在pc server上，可以是windows或solaris系统。Windows系统运行在vmware之上，Solaris系统使用container技术可以在pc server和中端服务器之间灵活进行业务或应用迁移,HP小型机虚拟化引入策略,系统可用性要求较高的核心生产应用系统，如营业和计费的DB、APP等采用动态nPar技术vPar适用于系统可用性要求相对较低的非核心应用系统，如业务支撑网外围系统，如统一接触、统一备份管理，BOMC，门户网站，
45、以及IT支撑系统的常规测试HPVM可以承载对资源的需求量和可用性较低的应用系统，如WEB和门户服务器，但基于成本考虑，此类应用建议采用X86架构服务器实现HPVM可用于测试平台，进行资源需求不高的常规测试，或用于临时性测试，对临时、过渡性测试需求实现快速分配、回收资源SRP在电信领域应用案例较少，可应用在测试环境中，针对HP-UX系统进行测试,存储虚拟化,基于主机的虚拟化,基于存储网络的虚拟化,基于存储设备的虚拟化,存储虚拟化-实现层面分类,Symantec,H3C、IBM、EMC,HDS、HP,虚拟化实现层面,典型厂家,主要用途：使服务器的存储空间可以跨越多个异构的磁盘阵列，常用于在不同磁盘
46、阵列之间做数据镜像保护。,优点： 支持异构的存储系统不占用磁盘控制器资源缺点： 占用主机资源，降低应用性能 存在操作系统和应用的兼容性问题.主机数量越多，实施/管理成本越高,实现方式：一般由操作系统下的逻辑卷管理软件完成（安装客户端软件），不同操作系统的逻辑卷管理软件也不相同。,基于主机的存储虚拟化,主要用途：异构存储系统整合和统一数据管理（灾备）,优点： 与主机无关，不占用主机资源。 数据管理功能丰富。技术成熟度高,实现方式：在存储控制器上添加虚拟化功能，常见于中高端存储设备。,缺点： 消耗存储控制器的资源。接口数量有限，虚拟化能力较弱。.异构厂家盘阵的高级存储功能将不能使用。,基于存储设备
47、的存储虚拟化,主要用途：异构存储系统整合和统一数据管理（灾备）,优点： 与主机无关，不占用主机资源。 能够支持异构主机、异构存储设备。 使不同存储设备的数据管理功能统一。 构建统一管理平台，可扩展性好。,实现方式：通过在存储域网（SAN）中添加虚拟化引擎实现。,缺点：占用交换机资源。 面临带内、带外的选择。存储阵列的兼容性需要严格验证。.原有盘阵的高级存储功能将不能使用。,基于存储网络的存储虚拟化,存储虚拟化技术适用原则,基于主机的虚拟化方案,对现有硬件架构没有变动，适于对关键应用解决异构互联问题，由于需要在所有主机上安装管理软件，给后期维护带来一定影响，原有数据迁入必须进行格式转换，实际实施
48、中也需要进行充分风险评估；测试环境中采用时，必须与业务支撑生产环境保持一致性，需要考虑现网主机是否使用SF方案,基于网络的虚拟化方案,适用范围广，提供产品的厂家最多，网络层虚拟化架构最为合理，但由于引入新的硬件设施，会带来新的故障点和转发性能开销，在对性能要求苛刻的场景需要充分评估,基于设备的虚拟化方案,虚拟化技术成熟，应用风险小，被整合的存储设备容易地继承存储虚拟化阵列一些固有的高级功能，如快照、克隆、复制、分区、精简配置等等，但方案需要支持USPV技术的机头支持，扩展性也受机头前端端口数据的限制，现有系统中有支持USPV的高端存储机头可以考虑采用,存储虚拟化规范,存储虚拟化规范的编制,研究院制定了存储虚拟化规范，针对三类存储虚拟化架构统一规范了存储虚拟化的功能要求和可用可管理等非功能要求，为省公司测试和试点提供了技术依据,规范内容,存储虚拟化功能要求异构环境的支持、统一资源调度、快照、数据迁移、卷拷贝、数据镜像、导入导出虚拟化平台、自动精简配置、远程复制、条带化存储虚拟化非功能要求可用性可扩展性可管理性性能要求,基于主机层的存储虚拟化测试,测试环境和测试内容,各项测试在山西NGBOSS测试平台上进行基于条件和使用目标的限制，测试内容主要侧重在以下几点：采用虚拟化技术前后，对业务系统性能的影响采用虚拟化技术前后，对业务系统稳定性的影响主机虚拟化产品对异构设备的兼容性,
