1、I硕士学位论文P2P 环境下的内容分发机制研究学位申请人 ：学科专业 ： 计算机软件与理论指导教师 ：答辩日期 ：A Thesis Submitted in Partial Fulfillment of the Requirementsfor the Degree of Master of EngineeringResearch of Content Distribution MechanismIn the P2P NetworkCandidate ：Huang MingjieMajor ：Computer software and TheorySupervisor ：Associate Pr
2、of. Xu LipingHuazhong University of Science and TechnologyWuhan 430074, P.R.ChinaJune，2007独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承担。学位论文作者签名： 日期： 年 月 日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并
3、向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密 ，在_年解密后适用本授权书。不保密 。（请在以上方框内打“” ）学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日本论文属于I摘 要随着网络技术的进步，Internet 己经发展成为信息社会中最重要的内容发布系统，但 Internet 中传统的以应用服务器为中心的内容分发网络（Content Distribution Network，CDN）存在着性能瓶颈，不利于网络
4、扩大和维护费用高等问题。与此同时，一种新的分布式资源利用模式对等网络（Peer-to-Peer，P2P）计算产生了。与传统的 C/S 计算不同的是， P2P 计算一般不需要中心服务器。网络中每个节点既是客户端，又是服务器。P2P 允许计算节点之间的直接交流和协作。 P2P 计算可以充分利用 Internet 边缘日益丰富的闲置资源，包括计算、存储、带宽等资源。内容发布和共享是 P2P 计算的一个主要应用领域，基于 P2P 的内容发布系统的特点是能够充分利用大量的客户端资源，减轻或者抛却应用服务器的负载。P2P 内容分发机制的核心是负载均衡算法以及文件分块选择算法。其中负载均衡算法的目的是选择更
5、接近的、性能更好的节点作为分发服务器。为适应 P2P 网络的各个节点随时变化的状态以及性能，内容分发机制采用动态的基于优先级的负载均衡算法根据节点 CPU 和内存的状况、两节点之间的逻辑距离以及网络状况进行优先级计算并排序，然后顺序选择节点发出资源请求。文件分块选择算法依据文件两层分块的原理划分为两部分：部分选择算法以及块选择算法。前者采用基于优先级的原则：通过该部分在各节点的分布情况、完成度等因素计算出优先级，选择优先级最大的部分进行分发。后者采用顺序选择以及节点反馈相结合的方法：正常情况下，按照块的顺序进行选择；否则，跳跃到下载点所反馈回来的下一块进行顺序选择。负载均衡算法使得下载者趋向于
6、向更接近的、性能更好的上传者发出资源请求，以获得更好的分发速度；文件分块选择算法有助于增大网络中文件分块在各个下载者之间的差异性，以便加快下载者之间的分发速度。以此为核心的内容分发机制可以更快的速度从更接近、性能更好的节点处获得资源。关 键 字： 内容分发、对等网络、负载均衡、分块选择、Kademlia IIAbstractWith the development of network technology, Internet has become the most important content distribution system in the information society
7、, but the traditional server-centric content distribution mode is also confronted with performance bottle neck. At the same time, P2P computing as a new mode of utilizing distributed computing resources comes into being. It is different from Client/Server computing, commonly there is no special serv
8、er in P2P network and nodes can communicate and collaborate directly with each other. P2P computing can utilize increasingly unused resources in the edge of the Internet. Content distribution and sharing is one of the main applications of P2P computing, P2P-based content distribution system can full
9、y utilize resources of vast clients and lighten the load of application server. The core of the P2P-based content distribution mechanism is the load balance arithmetic and the files part choosing arithmetic. The purpose of the load balance arithmetic is to choose the node which is nearer or has a be
10、tter performance as the distribution server. To adapt to the momentarily changing of the state and the performance of the nodes, the priority-based load balance arithmetic is used, whose principle is: calculating and sorting the priority by the states of the CPU and memory, the logic distance of the
11、 nodes and the states of network, then send a resource request to the node that has the highest priority. Like the principle of the files partition, the files part choosing arithmetic is divided into two: the Part-choosing arithmetic and the Block-choosing arithmetic. The Part-choosing arithmetic is
12、 priority-based: calculating and sorting every Parts priority by the situation of the Part in the nodes and the finish percentage, then sending the Part that has biggest priority. The Block-choosing arithmetics principle is choosing in the order and the nodes feedback: In the normal condition choosi
13、ng the Block in the order; otherwise, choosing the Block beginning with the feedback.The load-balance arithmetic could make the download-node to send the resource request to the upload-node which is nearer and has better performance; the files part IIIchoosing arithmetic is good for making the diffe
14、rence of the files Part in the download-nodes bigger, and making the speed of the distribution faster. The content distribution mechanism whose core is the two arithmetics can make the node to get the resource faster from the nearer and better performance nodes.Keyword: Content Distribution, P2P, Lo
15、ad Balance, Part Choose, Kademlia IV目录摘 要. IAbstract II1 绪论1.1 项目背景 (1)1.2 课题的提出 (2)1.3 国内外研究概况 (4)1.4 论文结构 (6)2 P2P 技术概述2.1 P2P 技术概述 (7)2.2 Emule 分析 (14)2.3 本章小结 (18)3 P2P 环境下的内容分发机制3.1 内容分发机制的设计思想 (19)3.2 分发方式 (19)3.3 文件分块选择算法 (20)3.4 负载均衡算法 (23)3.5 本章小结 (25)4 P2P 环境下内容分发系统（P2P-CDS）实现4.1 P2P-CDS 体
16、系结构 (26)4.2 P2P-CDS 实现技术 (27)4.3 本章小结 (37)V5 性能测试5.1 测试方向 (38)5.2 测试环境 (38)5.3 测试结果及分析 (39)5.4 本章小结 (42)6 总结与展望6.1 本文工作总结 (43)6.2 展望 (43)致 谢.(44)参考文献(45)11 绪论1.1 项目背景目前，人类社会正处在一个信息时代，Internet 作为全球最大的内容发布系统，是信息社会中人们获取各种资讯不可缺少的工具。与此同时，虽然 Internet 中的信息量和用户数量与日俱增，但 Internet 中内容发布的基本方式并没有发生太大的变化。在传统的内容发布
17、模式 1中，内容的发布由 ICP（Internet Content Provider, Internet 内容提供商）的应用服务器完成，应用服务器通常处于网络的中心，客户端主机处于网络的边缘，客户端需要登录到应用服务器下载或浏览各种内容。在这种发布模式下，网络只表现为一个透明的数据传输通道，客户端也只是一个浏览工具,而由于 Internet 的 IP 协议是 “尽力而为”的，所以这种内容发布的 QoS 是依靠在用户和应用服务器之间端到端地提供充分的、远大于实际所需的带宽来实现的。网络访问对于带宽的要求呈现出端对端的形式，某段网络带宽瓶颈的限制将造成整个网络的拥塞，尤其当大量用户同时访问同一台服
18、务器时，对连接服务器的链路带宽要求更高，不仅大量宝贵的骨干带宽被占用，ICP 的应用服务器的负载也变得非常重，而且不可预计。当发生一些热点事件或出现浪涌流量时，会产生局部热点效应（通常称为 Flash Crowds2，或 slashdot effect3，指的是对某些资源的访问请求在几分钟内突然之间剧增并且可能持续长达数天时间） ，从而使应用服务器过载退出服务：例如在 911 事件爆发时，空前的 Web 流量阻塞了相关的新闻网站 4。为了满足日益增加的访问请求并提高服务质量，服务器必须保证 247 的可靠性且足够强大，服务器的处理能力逐渐成为网络发展的瓶颈，为此必须对服务器进行升级来提高性能，
19、或采用多台服务器组成服务器集群来共同处理用户请求。但是，单纯地升级服务器性能的代价非常昂贵，而采用服务器集群的方法也难以进一步扩展。另一方面，网络技术的发展和应用的需求推动了 P2P 计算（Peer-to-Peer computing） 58 的产生。网络技术的发展主要体现在客户端主机能力的增强和带宽2的增加上。现在主流的主机配置都可以达到存储空间在 160G 以上，CPU 速度在2G 以上，这就使处于网络边缘的主机具备小型服务器的能力。另外，宽带接入技术的实现，使主机的带宽一般都能达到 256K 以上，使主机之间具备直接通信的能力。而传统的 C/S 应用模式使各种 Internet 应用必须
20、通过集中式的服务器，浪费资源且操作复杂。此外，目前 Internet 主机的数目也在不断地增加，据统计已经上亿，而在 C/S 方式下，主机只能处于 Client 的地位实现 Client 的功能，资源得不到充分的利用，因此在网络边缘产生了大量的空闲资源，包括存储能力、CPU 计算能力、信息和人力资源，据估算其中空闲的存储能力和 CPU 能力都达到了上百 T 的数量级。网络边缘存在这么多大量的空闲资源，而处在网络中心的应用服务器随着用户的增加，负载过重，导致整个网络负载极不平衡，从而产生利用这些空闲资源的需求。需求是技术产生的动力。由此新的资源利用模式P2P 计算产生了。P2P 计算技术出现的目
21、的就是希望能够充分利用互联网中所蕴含的潜在计算资源，尤其是Internet 边缘的客户端主机资源 9。P2P 技术应用非常广泛，其中一个重要应用领域即是内容共享和发布 1011 。目前已经出现了很多流行的 P2P 内容共享和发布软件，人们可以抛开应用服务器，通过 P2P 软件自由、实时而廉价地共享、发布自己感兴趣的内容。更重要的是 P2P 内容发布和共享系统可以通过 P2P 节点之间的协作，实现内容的快速分发，大大减轻了应用服务器的负载。1.2 课题的提出虽然 P2P 技术在内容共享和发布领域有着广阔的前景，但是现今在这个领域的商业应用上，传统的内容分发网络 1213 （Content Distribution Network，CDN）依然是主流产品。造成这种情况的原因主要有以下几个：（1）法律问题。由于 P2P 网络是一个分布式的对等网络，网络中每个用户在享受别人的资源的同时，也在向别的用户共享自身的资源。而在内容分发网络中，共享的资源就是各种各样的文件，其中尤以多媒体文件为多。这些文件中有相当大的部分是具有版权，而未经版权拥有者同意就进行共享的行为是需要负法律责任的。
