分享
分享赚钱 收藏 举报 版权申诉 / 5

类型可生存的存储网络与Quorum系统.doc

  • 上传人:j35w19
  • 文档编号:7134377
  • 上传时间:2019-05-06
  • 格式:DOC
  • 页数:5
  • 大小:203.50KB
  • 配套讲稿:

    如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。

    特殊限制:

    部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。

    关 键  词:
    可生存的存储网络与Quorum系统.doc
    资源描述:

    1、2007 年 11 月 Journal on Communications November 2007第 28 卷第 11A 期 通 信 学 报 Vol.28 No.11A可生存的存储网络与 Quorum 系统张薇 1,2, 马建峰 1, 柳曙光 2, 王超 1(1.西安电子科技大学 计算机网络与信息安全教育部重点实验室,陕西 西安 710071;2. 武警工程学院 电子技术系,陕西 西安 710086)摘 要:通过对存储网络整体可生存性的分析,提出了可生存的存储系统体系结构,由存储节点、用户、访问控制系统、可靠性分析、入侵检测及故障检测等组件构成。在此基础上,提出门限 Byzantine Q

    2、uorum 系统(TBQS )的概念,讨论了 TBQS 的存在性,并设计了基于 TBQS 的读写协议。TBQS 与门限方案及纠删编码等数据分离方式相结合,能较好地满足系统可生存性需求,当故障服务器个数不超过服务器总数的 1/4 时,利用TBQS 设计存储策略可以实现容错和无间断服务。关键词:可生存性;容错;存储网络;Quorum 系统中图分类号:TP309 文献标识码:B 文章编号:1000-436X(2007)11A-0121-04Survivable storage networks and Quorum systemZHANG Wei1,2, MA Jian-feng1, LIU Shu

    3、-guang2, WANG Chao1(1.Key Lab of Computer Network and Information Security under Ministry of Education, Xidian Univ. , Xian 710071 , China ; 2. Engineering Institute of the Armed Police, Xian 710086, China)Abstract: A survivable storage architecture was provided based on an overall study of storage

    4、service survivability. It contains storage nodes, users, access control system, reliability analysis module, intrusion and fault detection modules. The notion of threshold Byzantine Quorum system (TBQS) was presented grounded on this architecture. TBQS can be used together with erasure coding or thr

    5、eshold schemes to design survivable storage systems. Storage systems based on TBQS can tolerant 1/4 faulty nodes and thus provide a solid data service.Key words: survivability; fault-tolerance; storage network; Quorum system 1 引言信 息 系 统 可 生 存 性 1是 指 在 出 现 攻 击 、 故 障和 意 外 事 件 的 情 况 下 , 系 统 所 具 有 的 及 时

    6、 完 成 任务 的 能 力 。 生 存 性 研 究 侧 重 于 信 息 的 可 用 性 和 关键 服 务 的 可 持 续 性 , 重 点 考 虑 安 全 机 制 被 破 坏 以后 , 系 统 能 否 及 时 地 做 出 响 应 与 恢 复 , 使 其 中 的关 键 服 务 仍 然 保 持 必 要 的 属 性 。 存 储 网 络 是 存 储技 术 与 计 算 机 网 络 相 结 合 的 产 物 , 作 为 信 息 系 统的 核 心 部 分 , 存 储 系 统 一 旦 出 现 故 障 使 数 据 服 务无 法 进 行 , 或 者 由 于 入 侵 造 成 数 据 丢 失 、 泄 露 以及 破 坏 ,

    7、 则 会 给 用 户 带 来 巨 大 损 失 , 因 此 研 究 存储 网 络 的 可 生 存 性 是 非 常 必 要 的 。 第 一 个 针 对 可生 存 性 而 设 计 的 存 储 系 统 是 Carnegie Mellon 的PASIS2。 PASIS 中 利 用 秘 密 共 享 技 术 来 提 高 数 据服 务 的 可 靠 性 。 文 献 3中 提 出 了 分 布 式 存 储 系 统的 代 理 系 统 。 J.Wylie 等 提 出 了 设 计 可 生 存 的 存 储系 统 的 协 议 族 方 法 4,5, 通 过 简 单 地 改 变 存 储 节 点收稿日期:2007-09-22基金项

    8、目:国家自然科学基金资助项目(60533020,60573035, 60573036, 60503012)Foundation Item: The National Natural Science Foundation of China(60533020,60573035, 60573036, 60503012)122 通 信 学 报 第 28 卷的 数 量 和 一 些 读 /写 门 限 来 提 供 对 于 不 同 故 障 模 式的 处 理 , 使 给 定 的 存 储 结 构 能 够 用 于 各 种 不 同 环境 中 , 并 且 能 容 忍 的 故 障 数 量 与 数 据 无 关 。为 了 提

    9、 高 数 据 的 可 靠 性 , 一 些 分 布 式 存 储 系统 采 用 纠 删 编 码 ( erasure code) 来 分 离 数 据 。 从本 质 上 讲 , 纠 删 编 码 是 利 用 冗 余 来 提 高 可 靠 性 的技 术 , 采 用 纠 删 编 码 的 存 储 系 统 有 , 加 州 大 学 伯克 利 分 校 的 OceanStore 计 划 6、 EVENODD7码等 。 北 京 大 学 的 燕 星 存 储 系 统 8也 采 用 纠 删 编 码冗 余 机 制 来 提 高 可 靠 性 。 M. Ljungstrom 设 计 了分 布 式 数 据 结 构 LH*RS9, 采 用

    10、 纠 错 码 加 数 据 分割 的 方 法 保 护 数 据 。 长 期 以 来 , 人 们 还 将RAID( redundant array of independent disks) 10视为 提 高 存 储 系 统 可 靠 性 的 关 键 技 术 , RAID 系 统通 过 将 多 块 磁 盘 组 成 逻 辑 卷 并 提 供 各 种 数 据 冗 余机 制 来 实 现 容 错 。以上工作都考虑到了系统的可生存性需求,采用某种特定的技术来提高数据服务的安全性或可靠性。如采用秘密共享技术抵御共谋攻击,或者引入冗余以提高可靠性,或者设计具有纠错功能的数据结构,或者在现有的存储系统中加入加密或认证等

    11、安全机制等。然而这些工作缺乏对存储系统可生存性的整体描述,对可生存性关键理论与技术的研究也不够成熟。本 文 从 全 局 出 发 , 在 对 存 储 网 络 的 可 生 存 性需 求 进 行 分 析 的 基 础 上 , 设 计 了 可 生 存 的 存 储 系统 体 系 结 构 , 可 以 较 好 地 满 足 可 生 存 性 的 各 种 需求 。 同 时 提 出 了 一 种 基 于 Quorum 的 存 储 系 统 ,这 种 系 统 既 可 以 利 用 秘 密 共 享 或 纠 删 编 码 等 数 据分 离 技 术 提 供 的 安 全 性 和 可 靠 性 , 又 能 容 忍 系 统中 的 Byzan

    12、tine 故 障 , 保 持 数 据 服 务 的 可 持 续 性 。2 可生存的存储系统体系结构存储网络的可生存性需求包括安全性、可靠性、可用性和实时性等性能。数 据 是 存 储 系 统 的 核 心 , 分 布 式 的 存 储 网 络 中存 储 的 数 据 量 较 大 , 而 存 储 系 统 的 基 本 作 用 是 为 用户 提 供 数 据 服 务 , 因 此 服 务 的 连 续 性 和 实 时 性 则 成为 生 存 性 研 究 中 的 关 键 。 容 错 和 容 侵 是 对 系 统 可 生存 性 最 基 本 的 要 求 , 包 括 容 忍 各 种 随 机 错 误 和 突 发错 误 、 一 般

    13、 性 故 障 和 恶 意 攻 击 等 。 除 此 之 外 , 对 于机 密 数 据 还 要 求 有 较 高 的 安 全 性 。 现 有 的 系 统 或 者侧 重 于 安 全 性 , 或 者 侧 重 于 容 错 , 但 不 是 两 者 兼 具 。因 而 往 往 会 假 设 系 统 是 不 安 全 的 , 但 用 户 都 是 合 法 用户 , 且 进 行 规 范 操 作 ; 或 者 系 统 安 全 但 存 在 着 恶 意 用户 。 但 在 设 计 可 生 存 的 系 统 时 , 必 须 同 时 考 虑 安 全性 和 容 错 , 此 时 应 假 设 系 统 组 件 不 完 全 可 靠 , 而 用户

    14、中 也 存 在 有 误 操 作 、 未 授 权 操 作 甚 至 恶 意 的 攻 击 。为了简化由不同主机、操作系统、设备类型和协议所组成的复杂网络,将地理位置分散的存储服务器抽象为存储节点,每个节点由 CPU、总线设备、磁盘和其他一些部件组成,可以使用不同的操作系统和访问协议。为了提高可靠性,避免单点失效,数据在经过某种算法进行分离(如备份,纠删编码等方案)后,被保存在 n(n1) 个节点中。用户在保存和调用数据时对存储节点的选择方案称为存储策略,制订存储策略之前要对各个节点的可靠性进行分析,从而选择那些可靠性较高的节点提供数据服务。通过可靠性分析,用户可以调整存储策略,以最大限度地实现服务的

    15、持续性。当节点选定后,用户在读写数据时所要进行的操作称为读写协议,包括用户与节点间的通信过程以及用户在保存及恢复数据时对其所作的数学变换,包括加密、数据分离、秘密共享、纠删编码、备份等方法。用户对数据具有读、写、删除等权限,通过访问控制系统来管理每个用户的权限。为了保证数据的安全性,需要对部分数据进行加密,访问控制通过选择不同的加密方案以及为不同用户分发不同密钥来实施。如果使用加密,则访问控制系统还应包含密钥管理及认证协议,这些可以采用现有的算法和协议来实现。假设系统中任何一个存储节点都有可能出现故障或者遭到攻击,系统的当前状态由入侵检测和故障检测部件来判断,入侵检测及响应模块用于检测系统中被

    16、入侵的节点,故障检测用于检测节点是否有故障。检测的结果送入可靠性分析模块,用于计算节点的可靠程度。除了正常工作状态,其他情形一概被视为失效,节点的可靠性可以用失效概率来表示,概率越大,则失效的可能性越高,在选择时应尽量避开该节点。这三者共同为节点选择提供依据。综上所述,提出了如图 1 所示的分布式存储第 11A 期 张薇等:可生存的存储网络与 Quorum 系统 123体系结构。系统中包含存储节点、用户、访问控制系统,数据读写协议、访问控制、可靠性分析、入侵检测及故障检测等组件。图 1 可生存的存储系统体系结构3 基于门限 Byzantine Quorum 系统的存储系统3.1 门限 Byza

    17、ntine Quorum 系统Quorum 系 统 是 一 种 利 用 冗 余 设 计 来 提 供 容 错的 集 合 系 统 , 具 有 高 可 用 性 、 并 行 性 、 灵 活 升 级 等 优点 。定义 111 (Quorum system)设全集为 U,一个 Quorum 系统 Q=Q1,Q2,Qm是 U N的子集的集合,并且其中任意 2 个子集均相交,每个 QiQ 称为一个 Quorum。根据 Quorum 系统的交汇性,人们设计了许多基于 Quorum 的备份机制。则针对纠删编码和门限方案在分布式存储中的应用,提出门限 Byzantine Quorum 系统(TBQS )的概念。该系

    18、统与数据分离算法相结合,可以构造可靠性较强的存储系统,当故障服务器个数不超过服务器总数的 1/4 时,利用 TBQS 设计存储策略可以实现容错和无间断服务。定义 2 如果以下条件成立,则 Q 是一个关于预期失效系统 B 的 TBQS。1) TB-consistency : , ,12,iB有 ;12iQm2) TB-availability : , ,使得ij。ijB条件 1)表示从任意 2 个 Quorum 的交集中除去故障节点外仍有至少 m 个可用节点,从而当使用纠删编码或门限方案保存数据时,系统中除去故障节点外仍能保证读写 Quorum 中有足够的交集来恢复数据。条件 2)表示在任何一个

    19、时刻系统中除去故障节点外仍至少存在一个可用的 Quorum,保持数据的一致性。TBQS 的效率和安全性体现在它可以应用在使用纠删编码和门限方案的存储系统中,与备份系统相比,大大减小了单个服务器上保存的数据量,并且数据的安全性也随之提高。TBQS 的可靠性则依赖于其本身的定义和预期失效系统。3.2 TBQS 的存在性设 n 为节点总数,m 为恢复数据至少需要的份额数,因而 m 即为读 Quorum 中包含的最少节点数。假设预期失效系统由包含了 f 个节点的子集的集合构成,即故障节点的数量上限为 f。定理 1 设服务器集合为 U, ,预期失n效系统为 ,则当且仅当2,UiiBf是一个 TBQS 时

    20、,U 中|iiQn存在关于 B 的 TBQS。定理 2 如果 ,B 3fm 2|i,则 是 U 上关if 2|UiiQn于预期失效系统 B 的 TBQS。定理 3 如果 B ,|iif是关于 B 的 TBQS,且2|Uiinfmf ,则 n3f + m。以上 3 个定理讨论了 TBQS 的存在性,由定理 2 和定理 3 知 TBQS 存在的充要条件是:mf ,且 n3f+ m,或者 n4f 。因而从容错的角度看,TBQS 最多可以容忍 1/4 的节点产生Byzantine 故障。3.3 读写协议设系统中共有 n 个存储节点,Q 为 n 个节点的全集上的规模为 r 的 TBQS。采用的数据分离算

    21、法为 DIS(v),DIS()可以是现有的纠删编码或秘密共享算法,其输入为数据 v,输出是一个 r 维向量V=(v1,vr)。假设恢复数据时至少需要 m 个份额,mr,则相应的数据恢复算法为 RET(),其输入为m 维向量,在此用 Shareset 表示,输出为 v。设客户 C 的时间戳为 ,每个服务器 Pi 上保存着本地副本 vi 和本地时间 。i图 2、图 3 分别给出了基于 TBQS 的读写协议。其中的节点选择参考可靠性分析模块的输出。使124 通 信 学 报 第 28 卷用 TBQS 的优点在于,如果收集到的数据份额被非法篡改过,或者某个服务器没有返回数据,只要这样的份额数目不超过节点

    22、总数的 1/4,用户便可成功恢复数据,而无须重新选择读 Quorum。存储系统的可生存性包括安全性、可靠性、可用性、实时性等要求。一个可生存的存储网络,由数据分离算法、存储节点、读写协议、故障检测及攻击检测、可靠性分析及节点选择等部分组成。本文设计了通用的存储网络体系结构,同时提出了利用纠删编码和门限方案分离数据的存储系统,设计了一种新型的 Quorum 系统作为节点间的逻辑结构,并设计了相关的读写协议。TBQS 的使用既能充分利用纠删编码与门限方案的优点,又能提供容错。可以较好地满足系统的可生存性需求。 Protcl Write for dat v:+; /Client V :=DIS(v)

    23、; selct aquorm Q=(1,2,Qr); nd(wite, vi, )to i; ait for ACKs; upn ecivng (write, vi, ) from C /Serv Qi if the ; return ACK; po rceivng s from al servs inQ /Client return abort; End. 图 2 写入协议 Protcl Read forta v:=0;Shrst:NUL; wile (m) ctaquor Q; /Client brds(e,v)talservinQ;xtip:=0; pon rcg (rd,) /Serv

    24、 Qi sed(i)toC;upon rcivg al(i,) fromSevr i /Client fid mx(i); atiesp:= i for j1 rdo imaxties t+; dvjtoShrst; v:=RET(arest); /Client nd. 图 3 读取协议参考文献:1 ELLISON R J, FISHER B D, LINGER R, et al. Survivable network Systems: an Emerging DisciplineR. In Technical Report CMU/SEI- 97-TR-013. 1997.2 GANGER

    25、G R, KHOSLA P K, BAKKALOGLU M, et al. survivable storage systemsA. DARPA Information Survivability Conference and Exposition (Anaheim, CA, 12-14 June 2001)C. 2001. 184-195.3 HAYASHI D, MIYAMOTO T, DOI S, et al. Agents for autonomous distributed secret sharing storage systremA. Proc of the 2002 Inter

    26、national Conference on Circuit/Systems Computers and CommunicationsC. 2002. 482-485.4 WYLIE J J, GOODSON G R, GANGER G R, et al. A protocol family approach to survivable storage infrastructuresA. Position Paper, FuDiCo :S.O.S (Survivability Obstacles and Solutions), 2nd Bertinoro Workshop on Future

    27、Directions in Distributed ComputingC. 2004. 23-25.5 GOODSON G R, WYLIE J J, GANGER G R, et al. A Protocol Family for Versatile Survivable Storage InfrastructuresR. Carnegie Mellon University Parallel Data Lab Technical Report CMU-PDL-03-103, 2003.6 KUBIATOWICZ J. OceanStore: an architecture for glob

    28、al-scale persistent storageA. Proceedings of the Ninth International Conference on Architectural Support for Programming Languages and Operating Systems (ASPLOS 2000)C. 2000.7 BLAUM M, BRADY J, BRUCK J, et al. EVENODD: an optimal scheme for tolerating double disk failures in RAID architecturesA. Pro

    29、ceeding of the 21st Annual International Symposium on Computer ArchitectureC. Chicago, 1994. 245-254.8 代亚非,韩华. 一个广域 P2P 存储系统的实现及相关问题的研究J.计算机研究与发展,2004, 41(1): 36-44.DAI Y F, HAN H. Engineering a P2P based global file storage system and discussing the related issuesJ. Journal of Computer Research and

    30、 Development, 2004, 41(1): 36-44.9 LITWIN W, MOUSSA R, SCHWARZ T. LH*RS: a highly available distributed data storageA. Proceedings of the 30th VLDB ConferenceC. Toronto, Canada, 2004.10 PATTERSON D, GIBSON G, KATZ R. A case for redundant arrays of inexpensive disks (RAID)A. Proceedings of the ACM SI

    31、GMODC. 1988. 109-116.11 GIFFORD D K. Weighted voting for replicated dataA. Proc of 7th Symp on Operating Systems PrinciplesC. 1979. 150-162.作者简介:张薇(1976-),女,陕西西安人,西安电子科技大学博士生、讲师,主要研究方向为密码学、编码理论、计算机系统可生存性。第 11A 期 张薇等:可生存的存储网络与 Quorum 系统 125马建峰(1963-),男,陕西临澶人,西安电子科技大学教授、博士生导师,主要研究方向为密码学、可信计算,编码理论等。柳曙光(1976-),男,山东栖霞人,武警工程学院讲师,主要研究方向为计算机安全、软件工程。王超(1976-),男,安徽合肥人,西安电子科技大学副教授,主要研究方向为网络可生存性、可信计算。

    展开阅读全文
    提示  道客多多所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:可生存的存储网络与Quorum系统.doc
    链接地址:https://www.docduoduo.com/p-7134377.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    道客多多用户QQ群:832276834  微博官方号:道客多多官方   知乎号:道客多多

    Copyright© 2025 道客多多 docduoduo.com 网站版权所有世界地图

    经营许可证编号:粤ICP备2021046453号    营业执照商标

    1.png 2.png 3.png 4.png 5.png 6.png 7.png 8.png 9.png 10.png



    收起
    展开