1、南华大学计算机科学与技术学院毕业设计（论文）目 录摘 要 .iAbstract.ii第一章 绪论 .11.1 课题的背景 .11.2 本文的主要工作 .21.3 课题研究的意义 .2第二章 数据集成技术研究 .32.1 异构数据集成简介 .32.2 现有数据集的方法 .52.2.1 联邦数据库技术 .52.2.2 数据仓库技术 .62.2.3 中间件技术 .72.3 基于 XML 数据集成的相关技术 .92.3.1XML 的简介 .92.3.2 采用 XML 集成的优点 .92.3.3XML 的验证机制 .102.3.4XML 的查询语言 .112.3.5 现有的 XML 应用程序接口技术 .
2、112.3.6 Web Services .12第三章 基于 XML 集成系统设计 .133.1 系统设计的目标 .133.2 系统架构设计 .133.2.1 应用层 .143.2.2 中间层 .143.2.3 数据层 .163.3 系统工作过程 .16第四章 关键步骤及分析 .184.1 关系数据库转换为 XML 文档 .18南华大学计算机科学与技术学院毕业设计（论文）4.2 查询转换 .194.3 XML 文档的整合 .194.4 结果转换 .21第五章 数据集成的实现 .235.1 实例的背景 .235.2 运行环境 .235.3 实验过程 .24第六章 总结与展望 .276.1 总结
3、.276.2 展望 .28参考文献 .29谢 辞 .30附 录 .31南华大学计算机科学与技术学院毕业设计（论文）i物联网环境下的异构数据整合方法研究摘要：随着物联网的迅速发展，在物联网中共享的资源是越来越多，但是物联网中的节点使用的数据管理平台、数据库有很大的区别，所以物联网中数据具有不确定性、异构性、多源性等特点，对信息的共享和数据的传递有很大的阻碍。数据集成技术是消除数据件的异构性，将分布式数据源集成到一起，给异构数据提供统一表示，使用户能够无差别地访问这些数据。本论文先研究了物联网中异构数据的特征和现有的集成技术，经过对集成技术的学习和研究及比较，在 这里提出一种基于 XML 的异构数
4、据集成方案，这种方案的主要思路是：利用 JDOM 技术将异构数据全部转换为 XML 文档，再通过 JDOM 的解析功能把多个 XML 文档合并成一个 XML 对象文档，接着，通 过XMLD 的查询语句 Xquery 从 XML 对象文档中查询所需的数据，最后，利用XSL 技 术将查询结果显示在浏览器中。 论文的最后部分，实现一个面向小区用户异构数据查询系统，验证了系 统的可行性， 实现了用 户的透明性访问。关键词: 异构数据；数据集成；物联网 ；Xquery南华大学计算机科学与技术学院毕业设计（论文）i南华大学计算机科学与技术学院毕业设计（论文）iiThe Internet of things
5、 under the environment of heterogeneous data integration method Abstract : With the rapid development of the Internet of Thing, resources shared on the Internet are increasing, but things used by nodes in data management platforms, databases, there is a big difference between, so uncertainty, hetero
6、geneous nature of the data in the Internet, the characteristics of multi-source, information-sharing and data transmission has a lot of obstacles. The heterogeneity of data integration technology of eliminating the data, integrate distributed data sources together, to provide the isomerous data harm
7、onization, enables users to access the data without discrimination.This papers first research has property networking in the heterogeneous data of features and existing of integrated technology, after on integrated technology of learning and research and the comparison, in here made a based on XML o
8、f heterogeneous data integrated programme, this programme of main ideas is: uses JDOM technology will heterogeneous data all conversion for XML document, again through JDOM of resolved features put multiple XML document merged into a XML object document, then, By XMLD queries Xquery query takes data
9、 from the XML document, and finally, using XSL technology to display the query results in the browser. The last part of the thesis that the realization of a heterogeneous data query system for community users, verify the feasibility of the system, enables users transparent access. Key words：Data Int
10、egration ;heterogeneous data ;Internet of thing; Xquery南华大学计算机科学与技术学院毕业设计（论文）第 1 页 共 31 页第一章 绪论1.1 课题的背景物联网的英文名 Interne of Things，是互联网的扩展网络，是将传感器与计算机网络连接起来的集合，实现物与物之间的信息交流和通讯。物联网通过网络共享对象，可以实现数据共享和信息传递的功能。但是，由于传感器类型的千差万别、得到数据的存储结构的不同、各个网络节点的平台不同等原因。一个网络节点的数据往往难以难以传递给另外的数据节点，即使能够传递，也可能因为数据格式、数据关系模式的不同
11、等原因，而使得另外的网络节点无法读取和应用这些数据。因此，为了使网络中的数据能够在各个节点之间实现自由传递、信息共享，建立一个数据集成系统，来屏蔽各个网络节点异质性地数据，方便数据间的共享和传递，是不容等待的。在这种情况下，异构数据集成系统应用而生，通过分析联网的特性，在几种集成方法中，我选择了适应物联网求的：基于 XML 的异构数据集成方法。数据集成是将来源、格式、结构、关系模式、表示方式等不同的数据，通过集成技术，在逻辑或物理上对这些数据进行有机地整合，为用户和企业对物联网中的异构数据的查询和应用提供便利。在目前，数据集成技术的方法有很多，大致分来有三类：联邦数据库技术、数据仓库技术与中间
12、件技术。不同的技术有不同的着重点， 应用范围也不同，适应的情况也不同，所以，根据实际情况选择相对应的数据集成技术，来满足我们的需求。在这里我们实现是在物联网环境下，主要需要的功能是查询和数据的共享，我们利用 XML 的相关技术（XQuery、XML schema、JDOM 等） ，来消除异构数据的异构性，使得物联网中的数据和信息能够传递和共享，以 XML 文档作为中间介质，将关系数据库中的数据转换为 XML 文档存储，用户在集成系提供的查询平台查询异构数据源的信息，这样用户就能够无差别地访问异构数据。南华大学计算机科学与技术学院毕业设计（论文）第 2 页 共 31 页1.2 本文的主要工作本文
13、的主要工作是：首先，了解物联网下异构数据的来源以及这些数据的特点，分析物联网中数据的多源性、异构性等特点给给数据间信息共享带来的困难，从而说明在物联网应用中，用户对数据集成有很大的需要和应用，了解并研究现有的数据集成技术，分析这些技术的优点和缺点，确定这些技术的适用范围，适用哪些用户以及这些技术能的满足哪些需求。再有，了解和学习XML 技术，学习基于 XML 技术的数据集成系统是，应用上了那些相关的技术，对本文实现中涉及的技术进行深入的研究和学习，主要研究和学习 XML 技术、集成系统的映射机制、jdk1.4、Tomcat 5.0、myeclipse 软件的使用等。接着，完成基于 XML 技术
14、的数据集成系统的建设，画出系统结构图，对系统的功能进行分析，对其中的关键步骤做出讲解和说明。最后，根据异构数据集成系统的结构和构架，用实例来验证据集成系统的对异构数据的集成。1.3 课题研究的意义物联网中的数据由于所属的操作系统不同，数据格式不同等原因，造成数据之间信息的传输、数据的共享、用户对数据的查询有很大的不便。数据集成是将来源、格式、结构、关系模式、表示方式等不同的数据，通过集成技术，在逻辑或物理上对这些数据进行有机地整合，为用户和企业对物联网中的异构数据的查询和应用提供便利,使得各个异构数据源的数据对用户和企业是透明的，用户和企业能在异构数据集成系统的查询窗口获得用户或者企业获得所需
15、的数据和信息，而不用管中间件的实现和底层数据的转换，十分的方便使用。本论文提出了一个基于 XML 的异构数据集成系统，利用 XML 文档的描述能力强的特点，将它作为异构数据的中间介质，利用和 XML 相关技术 XQuery、XML Schema 技术、Jdom 技术来实现异构数据格式、表达方式和结构之间的转换，最终使得异构数据以统一的形式存储，方便用户的查询。南华大学计算机科学与技术学院毕业设计（论文）第 3 页 共 31 页第二章 数据集成技术研究本章节主要介绍现有的数据集成方法，以及 XML 的相关技术，通过对这些方法技术的分析和研究，分析这些集成方法的优缺点和确定合适的使用范围，为后面数
16、据集成系统的构建提供理论上的支持。2.1 异构数据集成简介异构数据是指那些数据资源在计算机体系结构、操作系统、数据管理平台、数据格式等方面不同的数据，数据异构导致数据在读写方面存在很大的差异性。目前，根据数据格式、类型、关系模式等方面的区别，我们可以将异构数据分为三类：结构化数据、半结构化数据和非结构化数据。结构化数据指的是具有固定结构、表现形式十分规范的一类数据。这些 1数据通常是存储在数据库中的，数据库对数据结构和格式有严格的约束，处于同一数据库的数据读写操作具有一致性，使用起来非常方便。但是，不同的数据库之间的数据结构和关系模式是存在差异的，比如 SQL Server 和 Oracle
17、中的数据格式和关系模式就不是一样的，这两种数据库中的数据的异构就是结构化数据的异构。我们说得非结构化数据是相对结构化数据而言，这些数据不能在数据库 2中表示，也没有对自身进行描述的附带信息。这类数据在格式上是没有明确的规范的，内容上比较多样化。这类数据常见的有：文本文档、电子表格、图片等。半结构化数据指的是介于结构化数据和非结构化数据两者之间的数据， 3它不像结构化数据有严整的结构，也不像非结构数据那样，它是附带有自我描述信息的。它在结构方面具有很大的灵活性，可以扩展，而且还可以进行自我描述。这类数据常见的是互联网中的 Web 页面、HTML 或者 XML 形式存在的数据。数据集成是将来源、格
18、式、结构、关系模式、表示方式等不同的数据，通南华大学计算机科学与技术学院毕业设计（论文）第 4 页 共 31 页过集成技术，在逻辑或物理上对这些数据进行有机地整合，为用户和企业对物联网中的异构数据的查询和应用提供便利 ，然后，通过集成技术将异构数据源之间的差异消除掉，我们利用集成技术，提供一种全局的查询模式，隐藏底层数据的操作，使用户和企业使用起来就像在使用同一个数据库中的数据，感觉不到其中的差异性。经过学习和分析，我总结了一下几点，是造成物联网中数据的异构的原因：（1）不同网络节点之间的软/硬件设施不同。不同的节点使用的计算机型号、操作系统的差异造成数据存储的格式不同。（2）不同的数据管理平
19、台。不同网络节点的数据存储方式不同，造成数据的格式、关系模式不同。（3）传感器物联网中数据的入口，不同厂商开发的传感器的是存在差别，传输进物联网的数据也存在区别。物联网和一般的数据集成不同，根据物联网的特点，分析数据集成的几个难 点和重点：（1）在物联网中，对于传感器传入的各式各样的信息，为了实现通信的需求和便于对这些数据的存储，需将这些现实世界的事物数字化。数字化后的信息即使是同一事物也可能有格式、类型等方面的区别。（2）物联网中的数据多以 HTML 或者 XML 形式存在，它的结构结构较为灵活，没有结构化数据的严整规格。（3）人们对物联网中的数据最主要是查询，用户关心的只是结果，用户并不关
20、心异构数据源之件是怎么转换的。所以，我们要保证数据集成系统有足够的透明性。（4）用户虽然只关心收到的结果，但是对查询结果的准确性要求却是很高的，我们必须保证系统集成后的数据的完整性。（5）集成系统为用户对数据的查询和共享提供的便利，但是，它不能够影响源异构数据系统中对数据的使用。（6）数据集成系统还要解决的问题是：不能改变异构数据源的权限性。对于某些数据来说，一般用户是没有查看的权限的。集成系统对这些数据集成后，南华大学计算机科学与技术学院毕业设计（论文）第 5 页 共 31 页不能改变它的权限性。2.2 现有数据集的方法2.2.1 联邦数据库技术联邦数据库系统(FederatedDataba
21、ses System)由一个半自治的数据库系统构成，相互联盟的数据库提供彼此之间互相访问的接口，联盟数据库通过接口访问和共享所有联盟数据库中的共享的数据。目前，联邦数据库技术是最简单也是最便捷的集成方式。它集成的数据库之间互相提供访问接口，数据库则通过对方对自己提供的接口访问对方的数据。这种接口技术是通过数据库之间的映射实现的，数据源和数据源之间的数据格式、关系模式进行一一映射。映射后，使得数据库 A 以数据库 B 理解的术语来访问数据库 B 中的数据，通过这样的一一映射，所有联盟的数据库能访问这个集合中的任意数据。这种技术最大的优点是简单，有多少个数据库，逐一进行映射就可以，有数据的添加时，
22、增加它与各个数据库的映射就可以了。这种数据集成的方法的优点是比较容易实现，尤其是当异构数据源的种类及个数限定的情况下，使用这种集成方式更加方便和实用。联邦数据库这种集成技术的缺点是不适用异构数据源过大的集成，而且，这种集成技术的可扩展性很差。根据它的集成规则当有 N 个数据库要互联时，需要的映射程序是 N(N-1)，增加一个就需要增加 N+1 个映射程序，当 N 的值比较大时，想要再添加异构数据源进来就比较难，所以，不适用大数据源的集成。如图 2.1,是联邦数据库集成技术的原理图，根据图我们可以看出，当异构数据源的数目过大时，再添加一个异构数据源需要增加映射程序，使用这种集成技术的工作量太大，对系统的要求也高，而且，消耗的系统资源多。
