1、密级:国家科技支撑计划项目可行性研究报告(试行)项目名称:云计算环境中数据资源关键技术及产业化研究项目编号: 项目组织单位: 存储产业技术创新战略联盟 中华人民共和国科学技术部二零一三 年 六 月1目 录 项目信息表 3项目可行性研究报告摘要 6项目可行性研究报告编写提纲 .10一、 项目需求分析 101.1云计算国外产业现状分析101.1.1国际 IT 巨头引领云计算产业 .101.1.2各国政府积极推动云计算发展 101.2我国云计算产业发展状况111.3项目研发内容与纲要和领域战略规划的关联性分析121.4项目的意义14二、现有工作基础 .152.1国内外相关技术、知识产权和技术标准的现
2、状与发展趋势分析152.1.1云计算数据资源存储、处理、流转核心技术分析 152.1.2云计算数据资源存储、处理、流转知识产权分析 192.1.3云计算数据资源存储、处理、流转技术标准分析 202.2项目实施已具备的基础23三、项目目标、任务与考核指标 .253.1项目目标 253.2主要任务 263.3项目涉及的行业共性技术、关键技术、公益技术分析,技术难点和创新点 273.3.1共性技术与公益技术分析 273.3.2关键技术与技术难点 343.3.3技术创新点 403.4项目技术路线 453.5项目成果及考核指标 57四、项目实施计划、任务分解与课题设置 .584.1项目实施的年度计划安排
3、与阶段目标584.2项目任务分解与课题设置方案584.3课题目标、任务、考核指标(包括约束性指标和预期性指标)594.3.1基于新型存储介质的存储系统与技术课题 594.3.2云计算环境下核心软件关键技术演进与分析课题 604.3.3云计算环境下光纤宽带接入关键技术研究课题 634.3.4云计算环境下异构网络信息融合接口测试平台课题 654.4. 课题承担单位选择方式68五、项目概算 .695.1项目概算表695.2项目概算说明705.3项目各课题经费安排73六、项目预期成果的经济社会效益,与国内外同类产品或技术的竞争分析,成果应用和产业化前景 .746.1技术、经济、社会效益分析7426.2
4、推广应用与产业化前景75七、项目实施的风险分析及对策措施 .75八、组织保障措施 .778.1组织实施方案与管理措施778.2组织企业参与及产、学、研、用结合的措施788.3项目、人才、基地统筹计划788.4其他必要的支撑和配套条件落实情况79课题分解表 .81项目可行性研究报告编写人员名 单 .823项目信息表项目名称 云计算环境中数据资源关键技术及产业化研究 项目编号密 级 保密期限所属领域能源 资源 环境 农业 材料 制造业 交通运输信息产业与现代服务业 人口与健康 城镇化与城市发展公共安全与其他社会事业单位名称 山东高效能服务器和存储研究院 组织机构 代码 68320368-2通讯地址
5、 山东省济南市高新区新泺大街 1768 号齐鲁软件大厦 B 座 3 层 邮政编码 250101姓 名 鲁 璐 性 别 女 职 务 项目经理办公电话 0531-85106782 移动电话 18668921014项目建议单位信息联系人电子信箱 传 真 0531-86133495TD 产业联盟光纤接入(FTTx)产业技术创新战略联盟开源及基础软件通用技术创新战略联盟WAPI 产业技术创新战略联盟国家集成电路封测产业链技术创新战略联盟闪联产业技术创新战略联盟参与组织单位长风开放标准平台软件联盟科技部项目主管司 科学技术部高新司项目起始时间 2013 年 9 月 项目结束时间 2014 年 12 月申
6、请支撑计划专项经费 ¥1100.00 万元其他财政拨款 0 万元单位自有货币资金 ¥1100.00 万元经费预算 ¥2200.00 万元其他资金 0 万元4国家科技支撑计划专项经费资助方式 一次性拟分解的课题及其承担单位选择方式项目拟分解为四个课题:课题一、 “基于新型存储介质的存储系统与技术”课题二、 “云计算环境下核心软件关键技术演进与分析”课题三、 “云计算环境下光纤宽带接入关键技术研究”课题四、 “云计算环境下异构网络信息融合测式平台”课题承担单位选择方式:定向项目任务来源十二五期间,我国信息领域将“以网络为基础、以计算为核心、以应用为导向、以安全为保障”作为发展主线。先进计算优先主题
7、的总体目标是:面向未来网络环境下人机物融合的新型应用,围绕能力提升、复杂性控制、能耗降低等关键问题,突破系统结构、软件、智能感知与人机交互等关键技术,在高效能计算、可信软件、人机物交互、重大行业应用和技术创新环境建设等方面研制一批平台与系统,促进自主创新的人机物和谐计算技术体系的建立。因此本项目规划确定的指导思想是:认真贯彻落实科学发展观,按照国家中长期科学和技术发展规划纲要(2006-2020 年) 确定的发展重点和国务院关于加快培育和发展战略性新兴产业的决定 ,紧密围绕我国信息产业和现代服务业的战略需求,以应用需求为导向,以突破关键技术为核心,以发展云计算产业为目标,发展自主可控的云计算关
8、键技术与系统,为提高我国云计算自主创新能力、培育战略性新兴产业、加快转变经济发展方式提供重要支撑。首先,本项目研究内容在方向性选择上完全符合纲要和领域战略规划的要求。 纲要的总体目标指出:“自主创新能力显著增强,科技促进经济社会发展和保障国家安全的能力显著增强,为全面建设小康社会提供强有力的支撑;基础科学和前沿技术研究综合实力显著增强” 。本项目正是针对云计算这一将对国民经济和社会生活产生广泛深入影响的新型计算和应用服务模式,选择支撑云计算环境中的数据资源关键技术进行研究,并着重在支撑云计算的高性能存储系统、云计算数据处理关键软件、复合接入网络和异构网络信息融合测试平台等方面开展研究,重点解决
9、云计算发展所面临的瓶颈问题,形成适用于多个领域、多种应用的云计算共性技术解决方案。项目的实施可显著增强我国信息领域的自主创新能力,促进经济社会发展,保障国家安全。其次,本项目在研发内容的重点把握上完全符合纲要和领域战略规划的总体部署需求。 纲要的总体部署指出:“抓住未来若干年内信息技术更新换代和新材料技术迅猛发展的难5得机遇,把获取装备制造业和信息产业核心技术的自主知识产权,作为提高我国产业竞争力的突破口” 。而云计算技术被称为“第三次信息技术革命” ,目前正处于产业发展、生态环境建设和商业模式构建的关键期,本项目抓住这一难得的时间窗口,重点解决云计算核心关键技术缺失等制约产业发展的关键问题。
10、同时研究内容也与纲要中“现代服务业信息支撑技术及大型应用软件” 、“面向核心应用的信息安全”以及“现代服务业信息支撑技术”等主题密切相关。最后,本项目的预期研发成果与纲要和领域战略规划中的相关重点相符合。本项目属于“信息产业及现代服务业”领域,在研发上强调“突破制约云计算产业发展的核心技术” ,自主研发包括基于新型存储介质的存储系统与技术、云计算环境下核心软件关键技术演进与分析、云计算环境下光纤宽带接入关键技术研究、云计算环境下异构网络信息融合接口测试平台等内容。这些预期成果将使得我国在“十二五”末拥有自主可控的云计算技术体系,形成支撑各类云服务的共性技术解决方案,实现云计算产品与服务的产业化
11、,促进云计算产业链的完善,带动其它行业的信息化升级。6项目可行性研究报告摘要云计算是互联网时代信息基础设施与应用服务模式的重要形态,是新一代信息技术集约化发展的重要趋势,它以资源聚合及虚拟化、应用服务和专业化、按需供给和灵便使用的业务模式提供高效能、低成本、低功耗的计算与数据服务。云计算是计算模式和应用服务模式的革新,将改变信息行业的格局,也将对国民经济和社会生活产生广泛深入的影响。“十二五”时期是我国全面建设小康社会的关键时期,是提高自主创新能力、培育战略性新兴产业、建设创新型国家的重要阶段。加快云计算技术创新和产业发展,对于支撑我国信息产业和现代服务业建设、提升我国信息化应用水平、加快产业
12、结构调整、促进经济发展方式转变、保持经济平稳发展具有十分重要的意义。因此,针对国家信息产业发展的重大战略需求,按照国家中长期科学和技术发展规划纲要(2006-2020 年) 、 国家“十二五”科学和技术发展规划和国务院关于加快培育和发展战略性新兴产业的决定等相关要求,基于信息领域相关产业技术创新战略联盟开展“云计算环境中的数据资源关键技术及产业化研究”项目,集中力量解决云计算发展中的突出技术和产业问题,形成系统解决方案,促进我国云计算产业的健康发展具有重要意义。在云计算技术方面,欧美等国走在技术的最前沿。主要集中在数据的存储管理和智能化分析、弹性虚拟计算以及高可用运维保障、网络接入、网络安全等
13、几个方面。具体来说,面向互联网的海量存储需求,在分布式大规模数据存储方面,主要形成了 Column Stores、Key-Value Stores 和 Document Stores三类存储技术。基于新型存储介质的存储系统方面,国外很早就开始进行相关研究工作。国外最早开始研制大容量固态存储器的是美国宇航局喷气7推进实验室(JPL)和 TRW 公司,有 90 年代初就采用 DRAM 为美国国家航空航天局(NASA)的飞船设计制造了实验性的固态存储器。虚拟化技术是云计算的核心技术之一,以 Amazon、微软为代表的一批企业正在基于虚拟化技术构建网络操作系统。在网络技术方面,异构信息融合接入技术主要
14、由宽带移动通信接入(3G/4G/5G 等)、无线局域网(WAPI)和设备间协同互联技术组成。全球范围看,欧盟对于异构网络融合的研究居于领先地位,开展了一系列研究项目。宽带移动通信接入技术方面,欧盟、美国和韩国等国家已经开始开展 5G 通信技术的研究。当前,科技部通过 863 计划、973 计划对新型网络服务器、高效能计算机、高端容错计算机、海量存储系统、服务器操作系统、虚拟化软件、网格技术等软硬件平台技术和产品创新性研究进行了多年的支持,已经在服务器和存储等基础硬件设施,操作系统、网络搜索引擎、虚拟机和网格平台等基础软件方面取得了显著的成绩,形成了一批具有国际先进水平的科研成果,并在若干关键领
15、域进行了应用示范和推广;在异构网络信息融合接入技术领域,我国已经开展了前期科研工作,已积累一批自主可控的相关标准技术,并在技术标准化和产业化等方面取得了良好成绩,形成了一批以 TD-SCDMA、TD-LTE、TD-LTE+、TePA(三元对等鉴别技术)等国际标准,也形成了以 WAPI 和闪联为代表的国家标准,并研制成功了相关的技术成果。在宽带移动通信领域,我国通过技术创新和创建标准,发展不同于欧美的 3G TDD 技术路径,有效带动了我国产业的发展,成功打造了包括系统、芯片、终端、测试仪表厂商的完整产业链,形成了“政产学研用”结合、合作开展协同创新的机制,成功奠定了我国移动通信产业和技术的基础
16、。因此,基于信息领域相关产业技术创新战略联盟开展“云计算环境中的数据资源关键技术及产业化研究”项目,集中多个产业联盟的力量,从8云计算数据资源存储基础设备、云计算数据资源核心处理系统、云计算客户端数据网络接入、云计算异构网络信息融合测试等多个领域,解决云计算环境中数据资源存储、处理、流转和共享的技术和产业问题,形成系统解决方案,促进我国云计算产业的健康发展。具体研究任务包括:(1)研究基于新型存储介质的高性能存储体系结构和基于新型存储介质的存储系统,以及内部的数据组织技术,提高存储系统系统,降低能耗;(2)研究云计算环境下大数据的应用需求和场景;分析面向大数据应用的基础软件产业链和价值构成;研
17、究云计算环境下支撑大数据应用的核心软件技术构成;构建云计算数据处理平台;(3)在现有 WLP、凸点技术的基础上开发更先进、应用更广泛的低成本的新型圆片级封装工艺技术,实现封测技术创新,有效控制 FTTx 集成电路成本;深入研究其在 LR-PON(Long Reach PON)中的物理传输机理,在保证用户端实施成本的同时,提高其传输距离(大于 100 公里)与用户数量(大于 1000 用户) 。在有限的接入频谱资源中,确保其高频谱利用率,为用户提供更大的接入带宽。 (4)利用宽带移动通信技术、WAPI 和设备协同互联技术,建立云计算环境下的异构网络信息融合接入测试平台,建设异构网络信息融合接入互
18、操作测试平台(5)按照“技术产品产业”的分析路径,完成存储产业、TD 产业、WAPI 产业、闪联产业、光纤接入(FTTx)产业、集成电路封测产业、核心软件产业路线图,提出相关政策建议。考核指标包括(1)研究完成基于新型存储介质的高性能、高可靠、低能耗的存储系统,实现支持百 TB 级存储容量、200 百万 IOPS;研究完成低成本、易构建云数据资源系统平台;(3)实现 100 Gb/s 直接检测光OFDM 超级通道下行传输;实现单波长 10 Gb/s 的低成本相干检测接收;在高速率光接入网系统中应用灵活的子载波载入方案,提高带宽分配灵活性和效率;掌握新型圆片级封装技术,形成多层布线 WLP 小批
19、量产品。 (4)9构建融合接入测试平台,研究并推动基于 TePA/WAPI 的用户实时在线鉴别进行应用示范。 (5)编制完成 7 大产业路线图本项目总概算经费¥2,200.00 万元,其中申请国家科技支撑计划项目专项经费¥1100.00 万元,自筹经费¥1100.00 万元。本项目分为四个课题开展,具体经费为:基于新型存储介质的存储系统与技术总概算 440.00 万元,国拨经费220.00 万元,自筹经费 220.00 万元;云计算环境下异构网络信息融合接口测试平台课题总概算 720.00 万元,国拨经费 360.00 万元,自筹经费 360.00 万元;云计算环境下光纤宽带接入关键技术研究课
20、题总概算 520.00 万元,国拨经费 260.00 万元,自筹经费 260.00 万元;云计算环境下核心软件关键技术演进与分析课题总概算 520.00 万元,国拨经费 260.00 万元,自筹经费 260.00 万元。由于本项目涉及成员众多,本项目分三层管理体系,由存储产业技术创新战略联盟进行项目统一管理,分为四个课题组,课题组具有多个联盟单位时,通过协商推选出组长单位进行二层细化管理。为保证项目正常实施,各参与单位将提供必要的人员、场地等必需条件。存储产业技术创新战略联盟、TD 产业技术创新战略联盟、WAPI 产业技术创新战略联盟、闪联产业技术创新战略联盟、光纤接入(FTTx)产业技术创新
21、战略联盟、国家集成电路封测产业技术创新战略联盟、开源及基础软件通用技术产业技术创新战略联盟、长风开放标准平台软件战略联盟等单位或其依托单位将提供优良的研发环境及经验丰富的研发队伍;涉及企业承诺在项目实施阶段提供工程生产环境。10项目可行性研究报告编写提纲一、 项目需求分析1.1云计算国外产业现状分析1.1.1国际 IT 巨头引领云计算产业云计算的技术和商业前景已使资金、人才与创新更加聚集。公开宣布进入或支持云计算技术开发的业界巨头包括微软、谷歌、IBM、Amazon、Netsuite、NetApp、Adobe 等,几乎涉及所有的一线 IT 企业。各公司依据自己传统的技术领域和市场策略都提出了自
22、己的云计算架构,从各个方向进军云计算。表 1 主要云计算厂商技术比较企业 技术特性 核心技术 企业服务 开源程度微软 整合其所用软件及数据服务 大型应用软件开发技术 Azure 平台 不开源Google 储存及运算水平扩充能力 MapReduce,BigTable,GFSGoogle App;Engine,应用代管服务不开源IBM 整合其所有软件及硬件服务网格技术,分布式存储,动态负载虚拟资源池提供,企业云计算整合方案不开源Oracle 软硬件弹性虚拟平台Orackle 的数据存储技术,Sun开源技术EC2 上的Oracle 数据库,OracleVM,Sun xVM部分开源Amazon 弹性虚
23、拟平台 虚拟化技术 Xen EC2、S3,SimpleDB、SQS 开源Saleforce 弹性可定制商务软件 应用平台整合技术 F 不开源EMC 信息存储系统及虚拟化技术Vmware 的虚拟化技术,一流存储技术Atoms 云存储系统,私有云解决方案不开源1.1.2各国政府积极推动云计算发展11(1)美国从云计算的发展历程来看,主导云计算技术发展的大多数都是美国公司,如谷歌、亚马逊、IBM、微软、VMware、Salesforce 等等。而现在,美国政府通过采购、标准等方面的工作还在加强美国在云计算领域的优势地位。美国政府希望通过云计算对外确保全球信息技术的领导地位,对内降低信息爆炸带来的过高
24、的 IT 成本。2009 年 9 月,美国联邦 CIO 委员会宣布了联邦政府的云计算发展计划。美国联邦云计算发展计划分为 3 个要点:开通联邦 apps.gov 官方网站,整合商业、社交媒体与云端 IT 服务;建立联邦云计算的示范工程,资助众多试点项目,包括中央认证、目标架构与安全、隐私以及采购相关内容;联邦大规模采购云计算服务。(2)日本日本内务部和通信监管机构计划建立一个名为“Kasumigaseki Cloud”大规模的云计算基础设施,以支持所有政府运作所需的信息系统。该机场设施建设计划将在 2015 年完工,目标是将政府的所有 IT 系统到一个单一的云基础设施,从而提高运营效率和降低成
25、本。(3)韩国韩国广播通信委员会、知识经济部、行政安全部 2009 年公布了搞活云计算综合计划 。计划在 2014 年之前向云计算(Cloud Computing)领域投资 6146 亿韩元(36 亿人民币) ,争取使韩国云计算市场的规模扩大为目前的四倍,达到 2.5 万亿韩元。同时还树立了将韩国相关企业的全球市场占有率提高至 10%的目标。(4)英国英国由政府 CIO 发布了数字英国报告,呼吁政府部门建立统一的政府云 G-Cloud,从云计算的易扩展、快速提供和灵活定价的好处中受益。121.2我国云计算产业发展状况近年来,我国政府高度重视对云计算的发展,把云计算列为重点发展的战略性新兴产业,
26、已在部分城市先行开展云计算服务创新发展试点示范工作。多个省市也发布了地方云计算战略规划,并组织当地重点企业联合进行云计算服务、政策等方面的探索。在政府的积极推进和部署下,我国已在千万亿次高效能计算机、高端容错计算机、网络计算平台软件技术、PB(Petabyte )级海量存储系统与数据处理技术等方面积累了一批技术成果,并培养了大批创新人才。大型互联网企业开发了云主机、云存储、开放数据库等基础信息资源服务等,取得了较好效果;电信和 IT 设备制造商在云计算专用服务器、存储设备、企业私有云解决方案的技术研发上具备了一定实力,专用服务器产品已开始进入国际市场;电信运营商也依托网络和数据中心优势开始布局
27、云计算中心;互联网数据中心(IDC)企业依托自己的数据中心,开始提供弹性计算、存储与网络资源等服务;软件厂商逐渐转向云计算领域。在宽带移动通信接入领域, LTE 进入实质研发阶段,并且已经大规模商用。在工信部的推动下,于 2013 年 4 月组织召开了 IMT-2020(5G)推进组,正式启动5G 研发的工作。同时,我国云计算发展仍然面临众多挑战,主要表现为:在大规模资源管理与调度、大规模数据管理与处理、运行监控与安全保障、复合高速网络接入、云计算核心软件和服务能力与发达国家相比差距较大,云计算服务业的规模相对较小,业务较为单一;云计算标准体系不健全;与云计算安全相关的数据及隐私保护、安全管理
28、等方面技术和法规尚不完备;云计算产业链和生态环境尚未完全形成,对传统行业信息化支撑不足。1.3项目研发内容与纲要和领域战略规划的关联性分析十二五期间,我国信息领域将“以网络为基础、以计算为核心、以应用为导向、以安全为保障”作为发展主线。因此本项目规划确定的指导思13想是:认真贯彻落实科学发展观,按照国家中长期科学和技术发展规划纲要(2006-2020 年) 确定的发展重点和国务院关于加快培育和发展战略性新兴产业的决定 ,紧密围绕我国信息产业和现代服务业的战略需求,以应用需求为导向,以突破关键技术为核心,以发展云计算产业为目标,发展自主可控的云计算关键技术与系统,为提高我国云计算自主创新能力、培
29、育战略性新兴产业、加快转变经济发展方式提供重要支撑。首先,本项目研究内容在方向性选择上完全符合纲要和领域战略规划的要求。 纲要的总体目标指出:“自主创新能力显著增强,科技促进经济社会发展和保障国家安全的能力显著增强,为全面建设小康社会提供强有力的支撑;基础科学和前沿技术研究综合实力显著增强” 。本项目正是针对云计算这一将对国民经济和社会生活产生广泛深入影响的新型计算和应用服务模式,选择支撑云计算环境中的数据资源关键技术进行研究,并着重在支撑云计算的高性能存储系统、云计算数据处理关键软件、复合接入网络和异构网络信息融合测试平台等方面开展研究,重点解决云计算发展所面临的瓶颈问题,形成适用于多个领域
30、、多种应用的云计算共性技术解决方案。项目的实施可显著增强我国信息领域的自主创新能力,促进经济社会发展,保障国家安全。其次,本项目在研发内容的重点把握上完全符合纲要和领域战略规划的总体部署需求。 纲要的总体部署指出:“抓住未来若干年内信息技术更新换代和新材料技术迅猛发展的难得机遇,把获取装备制造业和信息产业核心技术的自主知识产权,作为提高我国产业竞争力的突破口” 。而云计算技术被称为“第三次信息技术革命” ,目前正处于产业发展、生态环境建设和商业模式构建的关键期,本项目抓住这一难得的时间窗口,重点解决云计算核心关键技术缺失等制约产业发展的关键问题。同时研究内容也与纲要中“现代服务业信息支撑技术及
31、大型应用软件” 、 “面向核心应用的信息安全”以及“现代服务业信息支撑技术”等主题密切相关。14最后,本项目的预期研发成果与纲要和领域战略规划中的相关重点相符合。本项目属于“信息产业及现代服务业”领域,在研发上强调“突破制约云计算产业发展的核心技术” ,自主研发包括基于新型存储介质的存储系统与技术、云计算环境下核心软件关键技术演进与分析、云计算环境下光纤宽带接入关键技术研究、云计算环境下异构网络信息融合接口测试平台等内容。这些预期成果将使得我国在“十二五”末拥有自主可控的云计算技术体系,形成支撑各类云服务的共性技术解决方案,实现云计算产品与服务的产业化,促进云计算产业链的完善,带动其它行业的信
32、息化升级。1.4项目的意义云计算是互联网时代信息基础设施与应用服务模式的重要形态,是新一代信息技术集约化发展的重要趋势,它以资源聚合及虚拟化、应用服务和专业化、按需供给和灵便使用的业务模式提供高效能、低成本、低功耗的计算与数据服务。云计算是计算模式和应用服务模式的革新,将改变信息行业的格局,也将对国民经济和社会生活产生广泛深入的影响。由云计算、移动设备和互联网构筑的时代将面临巨大的挑战。将有40 多亿人和数百亿台连接设备共享及传输数据,并且这些设备将远远超出人们熟悉的智能手机、平板和个人电脑范畴,它们还包括大量的其它智能设备和传感器。全球每年的 IP 流量已超过 1ZB(相当于 10 亿 TB
33、)。随着人们和企业在各种移动设备上产生和消费数据,云应用将呈现显著的增长。人们的存储需求包括照片、视频以及通过电子邮件、视频、图片共享网站、社交网络和协作工具进行存储或传送的各种信息。这些数据不只是被存储在云中,为了改善数据性能、可用性安全性,它们还要被复制。因此,数据中心面临着诸多压力,需要提高输入/输出性能,减少延迟时间,加快对用户视频和大数据分析等各种应用的响应速度。15同时,新型存储介质的应用也是建立节能减排云数据中心的需要。当前无论国际社会还是我国均大力提倡“低碳经济” ,以“节能、高效、经济”为核心的绿色浪潮正席卷整个 IT 产业,绿色也逐渐成为引领 IT 产业下一代革命的创新潮流
34、。美国能源之星数据表明,存储设备每降低 1 瓦功耗,数据中心整体功耗会降低 2 瓦。在低碳目标的引导下的 IT 环境,存储技术的基础理论和关键技术趋向以能耗为导向、环境友好型系统构建模式发展,其发展和应用将会给人类生活和生产的各个领域带来深远的影响。新型存储介质的存储系统是构建节能型数据中心的重要手段。“十二五”时期是我国全面建设小康社会的关键时期,是提高自主创新能力、培育战略性新兴产业、建设创新型国家的重要阶段。加快云计算技术创新和产业发展,对于支撑我国信息产业和现代服务业建设、提升我国信息化应用水平、加快产业结构调整、促进经济发展方式转变、保持经济平稳发展具有十分重要的意义。针对国家信息产
35、业发展的重大战略需求,按照国家中长期科学和技术发展规划纲要(2006-2020 年) 、 国家“十二五”科学和技术发展规划和国务院关于加快培育和发展战略性新兴产业的决定等相关要求,基于信息领域相关产业技术创新战略联盟开展“云计算环境中的数据资源关键技术及产业化研究”项目,集中力量解决云计算发展中的突出技术和产业问题,形成系统解决方案,促进我国云计算产业的健康发展具有重要意义。二、现有工作基础2.1国内外相关技术、知识产权和技术标准的现状与发展趋势分析2.1.1云计算数据资源存储、处理、流转核心技术分析美国自然科学基金在 2008 年和 2009 年分别通过启动 Cluster 16Explor
36、atory (CluE)和 POMI 2020 研究计划,支持研究机构对数据密集型计算及面向移动互联网的新型应用支撑技术开展研究,2010 年 NASA 启动了 OpenStack 计划,研发云计算基础设施与平台服务。欧盟在 FP7 中资助了 Vision Cloud、4CAAST 等 20 多项针对云计算操作系统的系列研究项目,覆盖云资源管理、云存储、虚拟化与弹性计算、互操作框架、编程模型等诸多方面。在最近几年操作系统的顶级学术会议 OSDI、SOSP 上有大量关于云计算及网络操作系统的研究成果。从技术发展趋势方面,目前对云计算及网络操作系统核心技术的研究主要集中在数据的存储管理和智能化分析
37、、弹性虚拟计算以及高可用运维保障等几个方面。面向互联网的海量存储需求,在分布式大规模数据存储方面,主要形成了 Column Stores、 Key-Value Stores 和 Document Stores 三类存储技术。Column Stores 如支持弱一致性的大规模分布式数据库 BigTable,适用于大数据对象、集中服务器和高带宽业务需求数据存储;Key-Value Stores 技术的代表包括 Amazon Dynamo、Yahoo PNUTS 以及社交网络Linkedin 的 Voldemort,适用于小数据对象、分散服务器和低延迟业务需求数据存储;Document Stores
38、 技术的代表包括 CouchDB、MongoDB,适用于类似 XML 等文档对象的数据存储。此外,美国 Rice 大学和 UCSC 大学分别提出了数据存储中拜占庭错误的最终一致性技术 Zeno,可伸缩、高性能的分布式文件系统 Ceph。在海量数据进行高吞吐量的处理方面,近年来引发了对传统分布式数据库和 MapReduce 技术的深入探讨,Yahoo 提出了效率优化的 Map-Reduce-Merge 模型,微软提出了基于有向图的Dryad/DryadLINQ 模型。美国 CMU、MIT 以及英国 Edinburgh 大学都在数据处理的事务管理、一致性维护以及数据清洗等方面开展了深入研究。数据存
39、储技术近年来得到了广泛发展,但在数据动态放置、数据副本动态管理等方面的研究仍存在不足。现有的数据处理技术主要用于离线数据分析,17对于底层存储和文件系统的结构依赖性强,在海量数据的实时性处理方面不是很理想;另外,现有技术不能很好地支持面向云计算应用的结构化数据处理。基于新型存储介质的存储系统方面,国外很早就开始进行相关研究工作。国外最早开始研制大容量固态存储器的是美国宇航局喷气推进实验室(JPL)和 TRW 公司,有 90 年代初就采用 DRAM 为美国国家航空航天局(NASA)的飞船设计制造了实验性的固态存储器。随着半导体存储芯片集成密度的增加以及相关技术的不断发展,到上世纪末本世纪初,国外
40、对大容量固态存储器的研究进入了高速发展时期,其研制出来的产品无论是在容量、速度还是功耗、安全性等方面都了很大的提高,成为第二代大容量固态存储器。目前,第三代大容量固态存储器正在发展之中,第三代大容量固态存储器主要采用 flash 作为存储介质,存储容量高达 TB 级,存储速率也达到了 Gbps 级,代表的有 CALCULEX 公司研制的模块式固态存储器,采用高密度的 Flash 作为存储介质,克服了磁记录设备无法适应恶劣的空间环境的缺陷。整个系统由电源模块、控制器模块和存储罐构成,其中控制模块有可选择的备份,每个存储罐的电源单独提供,以保证完全独立工作,并降低功耗。固态存储器在早期主要用在军用
41、嵌入系统中,或者高性能计算的研究实验室中。随着固态存储技术的发展,目前已经在笔记本电脑及大型主机等领域得到应用。商业领域也已经涉及到金融、电信、医疗、电力、航空、邮电等行业。传统企业存储厂商的产品也在积极地通过固态存储来提高效率。2008年年初,EMC 宣布在其 Symmetrix DMX-4 高端存储系统中引入固态盘(SSD) ,率先将闪存带进企业级存储市场。除了以 EMCFAST、戴尔Compellent 流动数据架构为代表的自动分层存储技术之外,各种各样以内18存、闪存作为高速缓存的性能优化方式也层出不穷。比如 NetApp 阵列中将 PCIe 闪存卡用于读缓存的 Flash Cache
42、、Oracle Sun ZFS 存储设备支持的 SSD 读/写缓存,还有 HP、IBM 等存储厂商也在存储系统中加入的分布式 SSD 缓存支持等。虚拟化技术是云计算的核心技术之一,以 Amazon、微软为代表的一批企业正在基于虚拟化技术构建网络操作系统。按照对上层应用所提供接口的差异,不同的虚拟化技术实现了不同层次的虚拟机系统。硬件抽象层的虚拟机构造了完整的计算机硬件系统;操作系统层的虚拟机以接口调用的方式来支持上层软件;API 层的虚拟机模拟实现特定操作系统的 API 及其运行环境;编程语言层虚拟机通过特定的虚拟机指令集实现软件的跨平台特性。各种虚拟化技术在不同的层面上提供了相互独立、隔离的
43、服务接口和访问控制机制,对网络操作系统中的资源共享和可信保障具有重要的意义。如 Amazon EC2 采用 Xen 虚拟机,为用户动态创建包含计算、内存、存储等资源的、相互隔离的虚拟节点,能够以低廉的价格满足用户动态的计算需求。目前虚拟化的研究工作主要集中于单机虚拟化,对于虚拟集群、弹性的虚拟资源调度以及兼顾低功耗计算的研究工作存在不足。虚拟机的隔离性和可迁移性对网络操作系统的运维保障提供了技术支撑,主要包括可信加载、安全监控和系统恢复技术等。在可信加载方面,IBM 提出基于虚拟化的软件完整性验证框架(Integrity Management Architecture,IMA) ,Duke 大
44、学提出了虚拟机镜像的初始化安全协议,支持虚拟机实例的可信加载;在监控检测方面,Stanford 大学研究了基于虚拟机的入侵检测、完整性检查、蜜罐系统等技术,CMU 设计的 SecVisor 能够有效防范恶意代码注入攻击;在系统恢复方面,Michigan 大学提出了基于系统日志的运行状态回放,Citrix 提供的 Kemari 使主机具有故障恢复的功能。VMWare 等公司推出了面向企业的虚拟资源管理平台,包含相应的安全和访问控制机制。19异构信息融合接入技术主要由宽带移动通信接入(3G/4G/5G 等)、无线局域网(WAPI)和设备间协同互联技术组成。全球范围看,欧盟对于异构网络融合的研究居于
45、领先地位,开展了一系列研究项目。BRAIN 项目提出了无线局域网与通用移动通信系统(UMTS)融合的开放体系结构;DRIVE项目研究了蜂窝网和电视广播网的融合问题;MOBYDICK 项目重点探讨了在IPv6 网络体系下的移动网络和 WLAN 的融合问题;MAGNET 项目通过设计、研发和实现个人网络(PN)来为移动用户在异构网络环境中提供无处不在、安全的个人服务;EuQoS 项目侧重于研究异构网络的端到端 QoS 技术。WINNER 项目希望以一个无处不在的无线通信系统代替目前多种系统(蜂窝、WLAN 和短距离无线接入等)共存的格局,提高系统的灵活性和可扩展性,能够在各种无线环境下自适应地提供
46、各种业务和服务。这些项目研究范围涵盖接入、网络和业务等方面,既相互竞争又相互合作,从多个层面和角度对异构网络融合问题进行了有意义的研究。虽然这些项目提出了不同网络融合的思路和方法,但与多种异构网络融合的目标仍有一定距离。宽带移动通信接入技术方面,欧盟、美国和韩国等国家已经开始开展5G 通信技术的研究。欧盟宣布成立 METIS(Mobile and Wireless Communications Enablers for the Twenty-Twenty (2020) Information Society) ,投资 2700 万欧元用于 5G 技术应用研究,METIS 由 29 个成员组成,
47、其中包括爱立信、华为、法国电信等主要设备商和运营商,欧洲众多的学术机构以及宝马集团。美国 NSF(美国国家科学基金会)支助纽约理工大学的科研团队 200 万美元,用于研发新的 5G 网络。我国工信部于2013 年 4 月组织召开了 IMT-2020(5G)推进组,正式启动 5G 研发的工作。无线网络和网络安全技术方面,我国在自主可控安全技术标准化、产业化等方面已取得了良好成绩。形成了包括国际标准虎符 TePA(三元对等鉴别技术)和 WAPI 国家标准为代表的一批自主可控安全技术成果。这些成果均属于网络基础层的核心安全技术,处于国际领先水平。202.1.2云计算数据资源存储、处理、流转知识产权分
48、析在数据存储方面,代表性专利技术包括 Google 的大规模分布式数据库 BigTable、分布式文件系统 GFS、分布式数据处理框架 Map Reduce US Pat. 7650331等。此外,分布式计算的开源项目 Hadoop、Amazon 的简单存储服务也申请了专利(如 distributed data storageUS App. 11/369,240、Distributed data processing system and method of processing data in distributed system US App. 11/369,240等) 。在虚拟化技术方面
49、,典型企业级产品有 VMware Workstation、Microsoft Hyper-V、Xen 等。相关专利包括 Virtual machine systemd US Pat. 7769031、Virtual machine operating system LANApp. number: 10/197,306、Virtual machine monitorApp. number: 10/676,921等,都属于对虚拟化单项技术的专利,尚未形成在弹性虚拟计算领先的专利成果。在高可用运维保障方面已经有以下相关专利 High-availability, highly-redundant storage system enclosure US App. number: 10/676,921、Data privacy management system and method US Pat. 109721