1、国土资源大数据的内涵、研究现状与展望 徐海洋 于丙辰 陈刚 唐华 葛石冰 南京大学地理信息科学系 南京市国土资源信息中心 江苏苏地源土地规划设计有限公司 摘 要： 国土资源大数据是国家大数据战略的重要组成部分。文章在梳理相关研究和政策规范的基础上, 系统研究了国土资源大数据的体系、特征和关键技术, 明确界定了国土资源大数据概念, 并对国土资源大数据和大数据技术在国土资源领域内的研究与应用进行了展望, 以作为国土资源大数据战略实施的有益参考。关键词： 国土资源大数据; 内涵; 研究展望; 关键技术; 作者简介：徐海洋 (1993) , 男, 安徽宿州人, 硕士研究生;研究方向:GIS分析与设计。
2、基金：江苏省国土资源科技项目;项目编号:2016045Intension, research states and prospects of land and resources big dataXu Haiyang Yu Bingchen Chen Gang Tang Hua Ge Shibing Department of Geographic Information Science, Nanjing University; Nanjing Information Center of Land and Resources; Jiangsu Sudiyuan Land Regulating
3、Planning Co., Ltd.; Abstract： Land and resources big data is a significant part of national big data strategy. This paper combing relative research and policy document at first, then researches on the composition system and features and critical technology of land and resources big data systematical
4、ly, and clearly define the concept of land and resources big data. Besides, the paper introduces the research and application prospects of land and resources big data and big data technology.This article is a beneficial reference for construction of land and resources big data.Keyword： land and reso
5、urces big data; intension; research prospects; critical technology; 0 引言随着信息和通信技术的迅速发展, 各种各样的数据呈爆炸式增长, 涉及生活的方方面面。面对如此巨大的数据规模, “大数据”一词逐渐被广泛应用。“大数据”一词并非近期才出现, 早在 20 世纪 80 年代美国未来学家阿尔文托夫勒就提出这一名词。2008 年 9 月, Nature杂志发表文章Big Data:Science in the Petabyte Era1, “大数据”的概念开始广泛传播, 并成为社会各界关注的焦点。2015 年, 国务院下发国务院关
6、于印发促进大数据发展行动纲要的通知 (国发201550 号) , 大数据正式成为国家发展战略。大数据让人们从传统的小样本数据处理模式逐渐转换为大规模、全样本数据处理模式, 它能够对海量的结构化、半结构化和非结构化数据进行挖掘分析, 从而获得更强的决策力和洞察力2。大数据的出现并不是偶然, 而是 IT 技术发展到一定阶段的必然产物。目前, 大数据涉及各个领域, 包括交通3、环境4、农业5等多个方面, 大数据在国土资源管理中的应用也方兴未艾。2016 年 7 月, 国土资源部研究制定了关于促进国土资源大数据应用发展的实施意见, 积极推动国土资源大数据的应用和发展, 各省市国土资源部门迅速响应文件要
7、求, 对国土资源大数据进行积极探索。目前, 国土资源大数据的应用发展还处于起步阶段, 与实施国家大数据战略要求和国土资源业务发展新需求相比还存在一定差距, 具体表现在 3 个方面:国土资源数据的实时性有待提高;数据共享不足;基于大数据的决策能力需要进一步加强6。因此, 科学界定国土资源大数据的概念内涵及内容体系, 利用先进理念与技术方法开展国土资源大数据服务已成为各级政府及国土资源管理部门最为关切的问题。本文在借鉴国内外学界关于国土资源大数据研究的基础上, 科学地界定了国土资源大数据的定义、内涵及特征, 并针对国土资源大数据规模庞大、类型复杂、难以处理的特点, 介绍了主流应用的国土资源大数据技
8、术, 并对未来国土资源大数据的发展做了展望, 为国土资源大数据建设提供理论依据与方法框架。1 研究现状国土资源信息化一直是国土部门研究探讨的主题之一。各地国土资源信息化建设都在快速发展与不断完善。国土资源信息化实质上是以现代信息技术的广泛应用为重点, 以深入开发和利用各种信息资源为核心, 以有效服务于经济社会发展为目的的综合性基础工程7。国土资源信息化的最核心部分是数据资源, 管理模式从传统的数据库到国土资源“一张图”平台, 现在又由“一张图”信息平台逐渐向国土资源大数据转变。目前, 部分学者已经对国土资源大数据内容和应用进行了探讨。莫乃鹤等8在梳理大数据的概念、特点和技术的基础上结合昆明市国
9、土资源部门自身情况, 认为国土资源大数据包括 3 部分内容, 分别是国土资源现有数据、服务人群的相关数据 (如网站点击相关操作、各相关单位信息等) 和国土系统其他数据 (如人员、职务、业务及操作记录) 。李宗华等9认为国土资源大数据应在现有数据的基础上, 将动态视频、手机数据、无人机、各种传感器、公众服务、社会舆情等信息融入国土资源目录体系中。虽然学者已经对国土资源大数据定义进行了研究, 但是并未有一个系统的、科学的界定, 并未涵盖国土资源大数据的所有范围, 因此需要进行进一步的梳理和定义。此外, 将国土资源大数据应用到具体需求上的研究也一直在不断的推进。北京市国土资源局为提高海量数据存储和运
10、行能力, 利用已有硬件设备, 基于云计算、并行处理等技术搭建了国土资源大数据基础环境, 数据存储和处理能力大幅提高10;陈伟等11设计了国土资源管理综合监控系统, 实现了国土资源大数据的管理和挖掘;李宗华等9,12在“一张图”基础上构建了大数据平台, 并将大数据技术应用到耕地演变、建设用地动态监管、以地控税和以税节地以及社会管理创新中;严正伟13介绍了大数据的处理流程和应用, 并提出大数据应用到国土业务可能案例;徐州市国土资源局从智慧国土的角度出发, 构建了国土资源大数据中心, 并将大数据技术应用到国土规划布局、土地节约利用、矿地统筹开发利用、土地价格合理评估、地质灾害预报五个方面, 取得了很
11、好的进展14;盐城市国土资源局通过地块、地籍数据以及视频监管系统, 利用大数据技术实现了“智慧守土”15。另外, 在国土资源大数据安全性16、档案管理17、国土资源大数据采集18等方面, 学者也做了相关的研究, 取得了一定的进展。国土领域的学者做了很多的研究, 但依旧存在不足, 国土资源大数据的特征没人梳理, 国土资源大数据技术体系也没人系统的探讨, 因此本文在前人的基础上, 对国土资源大数据特征和关键技术进行了科学的研究。2 国土资源大数据的内涵2.1 国土资源大数据的概念对国土资源大数据进行定义, 根据其数据性质从 3 个方面进行探讨。对体系的具体介绍如图 1 所示。首先, 国土资源数据作
12、为基础国情信息, 在国民经济和社会发展中发挥着极为重要的作用。通过国土资源调查、监测、评价和管理工作, 产生和积累了海量的基础地理、土地、地质矿产、地质环境与地质灾害防治等数据, 这些数据是经济和社会发展的重要信息基础, 对于政府部门科学地制定和有效地实施国土规划, 以及满足人民群众对国土资源信息日益增长的需求具有重要价值。国土资源数据对于国土资源大数据来说是不可缺少的最为重要的一部分, 是最为基础和核心的数据, 脱离国土资源的国土资源大数据毫无意义。这一部分的数据通常为结构化的数据, 方便采集和处理分析, 且经过十多年的整理, 已经服务于国土部门, 在土地规划和精细化管理方面取得了一定的成效
13、。图 1 国土资源大数据体系 下载原图其次, 因为国土管理工作的复杂性与交叉性, 国土资源部门自身收集和存储的数据已经不能满足国土部门业务管理与决策工作的需求, 应结合其他政府相关部门的数据, 如规划局、档案局、统计局、发改委、财政局、交通局、环保局、气象局、教育局等部门的数据。土地精细化管理如果仅仅通过土地利用现状、土地存量、土地供应量等数据很难达到预期效果, 教育、交通、环保数据对于土地的利用有着重要的影响, 是不可忽略的部分。因此, 建立政府部门之间的共享机制, 打破“信息孤岛”的局面, 实现部门之间合作, 共同利用开发, 挖掘更多的数据价值。最后, 国土资源大数据还包括社会化大数据,
14、具有大数据的 4 V 特征19。这一部分数据来源于各种传感器和互联网数据, 类型包括动态视频、图片、文本、表格等。数据通常为非结构化的数据, 类型复杂, 数据量庞大 (PB 级甚至 ZB级数据) , 采集和处理分析困难, 需要进行数据的挖掘、清洗、加工, 因其需要结合国土数据, 还需进行地理编码和信息融合, 对硬件设备和技术有更高的要求, 才能从中提取出潜藏的价值, 服务于国土资源管理与决策。本文在借鉴国内外相关研究基础上, 逐步形成了国土资源大数据的认识。国土资源大数据是以海量的、多源异构的、具有时序特征的国土资源数据为核心, 结合相关部门与行业 (如测绘、规划、交通、环保等) 提供的共享数
15、据, 以及从互联网、传感器产生的社会化大数据, 运用现代大数据的理论、技术及方法来挖掘、加工、分析, 从中得到有价值的各类数据与信息, 进而对国土资源管理与决策进行科学指导。国土资源大数据建设的最终目标是为各级国土资源管理部门及时提供科学数据与决策依据, 并更好地服务于区域经济建设、社会发展与人民生活。2.2 国土资源大数据的特征国土资源大数据应既具有大数据的 4 V 特征, 又有其独特的、区别于其他大数据的特有特征, 总结归纳国土资源大数据的特有特征可以概括为 4 点。(1) 空间特征。空间特征是国土资源大数据最基本、最核心的特征, 正因为数据具有地理空间特征才使得国土资源大数据有其特有的价
16、值。国土资源大数据的最终目的是服务于国土管理, 为国土管理决策起到指导作用, 国土资源大数据中包含的各类数据, 如文本、图片、视频等, 第一步工作就是进行数据的清洗、加工, 进而进行数据挖掘、处理、分析从中得到有价值的信息, 解释空间现象的特征、形成原因以及驱动因素。(2) 时序特征。时序性特征指的是国土资源大数据具有一系列连续时间序列的数据。不论是国土资源部门本身数据还是相关政府部门数据都经过了十几年甚至几十年时间的积累, 包括现有的土地利用类型、土地规划等数据和历年的积累数据, 数据种类丰富, 对研究现有地理空间对象分布的形成原因、历史遗留问题有重要意义。清洗、整理的社会化大数据同样具有时
17、间上的持续性, 无论是清洗处理的数据本身还是数据挖掘分析得到的结果都能在一定程度上反映事件、现象的时间上发展趋势、基本走向。具有时序性特征的国土资源大数据反映的不仅仅是过去、现在还可以预测未来, 做到提前预警, 提前准备, 提前应对。(3) 多源异构特征。国土资源大数据是一个包含各种数据的“大容器”, 数据规模庞大, 来源广泛, 结构复杂, 类型多样。数据的来源众多, 有来自国土部门采集的数据、交通部门和环保部门等共享的数据、互联网采集的数据、网页操作数据记录、传感器收集数据等等。数据的结构复杂, 种类众多, 覆盖面广, 包括文本、图片、视频、地理相关数据等, 数据的总量达到 PB 级。(4)
18、 价值密度大特征。国土资源大数据的价值主要体现在两个方面。国土资源数据作为我国基础的国情信息, 是最为精确的地理测绘数据, 关乎国家和社会经济的发展, 关乎国家的安全。其他政府部门的数据指向性很强, 能够反映某个地区某一方面的发展情况, 和国土资源数据一样在某一方面是最精确、最权威的数据, 价值很高;社会化大数据属于价值密度低的数据, 往往海量的数据中隐含着价值, 随着大数据技术的逐渐成熟, 处理数据的能力大大提高, 能够分析的数据量增大, 价值也逐渐增大, 最终价值可能会等同于甚至超过专业数据。2.3 国土资源大数据技术根据大数据处理的生命周期, 大数据技术通常包括大数据采集与预处理、大数据
19、存储与管理、大数据分析与挖掘、大数据可视化等技术, 如图 2 所示。要从大数据中获得有价值的信息, 需要在大数据生命周期的各个阶段, 集成与之相互匹配的技术。图 2 国土资源大数据技术路线 下载原图(1) 国土资源大数据采集与预处理。数据采集是国土资源大数据最基本也是最重要的一步, 传统的国土数据采集方法已经基本成熟, 对于传感器和互联网数据来说, 网络爬虫是获取海量数据快捷的方法, 它通过遍历网页实现对数据的采集和整理。对于数据的清洗工作, 应依据不同的数据源制定相应的清洗方案, 设计一些过滤器是不错的选择。(2) 国土资源大数据存储与管理。国土资源大数据的存储首先需要考虑的就是存储设备的硬
20、件条件, 根据硬件设施搭建存储平台是第一步工作。云计算平台能够分散存储, 并基于 Hadoop 框架实现并行计算, 提高数据存储和管理能力。(3) 国土资源大数据分析与挖掘。目前大数据的分析技术多样, 大多基于机器学习或深度学习的算法, 如决策树、随机森林、SVM、神经网络模型等。对于国土资源大数据来说, 分析的基础是地理信息, 因此地址匹配和多维属性融合20对于国土数据来说至关重要。(4) 国土资源大数据可视化。可视化是国土资源大数据分析的重要方法, 当大数据以直观的可视化的图形展示出来时, 分析者可以一眼看出背后的隐藏信息。国土资源大数据可视化技术除主要的专题地图 (各类国土资源专题地图)
21、 外, 舆情分析、热力图、流向地图以及网页地图和三维地图等都是重要的可视化手段。3 研究展望国土资源大数据是一个新兴的研究热点, 也是大数据应用的一个重要的方面。本文通过对大数据和国土资源的理解定义了何为国土资源大数据、国土资源大数据的内涵及内容, 并对国土资源大数据做了展望, 为国土资源大数据的建设提供理论依据。国土资源大数据经过近几年的发展, 虽然取得了一定的进展, 但总体来看还处于探索阶段。数据被定义为重要的资源, 得到政府部门的充分重视, 在决策管理过程中发挥了重要的作用。政府看到了数据价值, 开始积极主动的探索。数据本身是没有价值的, 必须同实际需求结合在一起, 才能发生化学反应,
22、体现管理、决策价值。如何采集更新国土资源大数据, 大数据如何存储、高效处理, 大数据如何与实际需求相联系, 应用到现实生活中成为国土部门最为关心的问题。在未来的研究和应用中提出如下展望。(1) 国土资源大数据的采集与共享。国土资源大数据必须打破传统国土数据目录体系, 扩充数据规模, 提高数据清洗和整理效率。国土资源大数据离不开国土部门十几年积累的基础数据, 应在“一张图”基础上进行升级, 进一步整合土地、房屋、耕地、矿产、规划等信息, 做到实时更新。此外, 加强对传感器、互联网等数据的采集和处理工作, 将社会化大数据融入国土资源大数据中。另一方面逐步完善数据共享机制和标准, 实现政府部门间的数
23、据共享和利用, 以达到更高的数据利用效率, 从中获取更大价值。(2) 国土资源大数据的存储和处理。日益增长的海量数据对存储和处理效率有更高的要求, 国土资源大数据的应用研究必须在解决数据问题的基础上开展, 如何高效地存储数据, 高效地处理、分析数据是迫切需要解决的问题。目前, 国土资源大数据云计算平台的搭建被认为是解决这一难题的主要方法, 云平台能够打破过去各自分割的数据存储, 数据更容易被收集和存储, 大数据的价值才能更高效地呈现在所应用的领域。此外, 结合大数据相关技术, 基于 Hadoop框架, 构建分布式存储与并行处理环境, 充分利用现有的硬件设备, 提高大数据分析效率, 让数据释放更
24、多的潜在价值。(3) 国土资源大数据建设结合实际行业需求。在基于国土资源大数据的基础上, 结合实际需求, 探索应用实例。武汉及其他省市国土资源部门提出了相关的应用案例, 如土地利用数据的多维度耕地演变分析、审批信息的建设用地动态监管、“智慧守土”等。综合考虑现实情况, 结合本省市自身数据, 可以加以复制, 应用到具体实例中。另外, 培养大数据思维, 积极探索其他业务与大数据结合的应用, 利用国土资源大数据实现对土地集约利用、低效用地识别以及再开发, 真正实现国土资源大数据的价值。国土资源大数据是实施国家大数据战略的重要内容, 是新时期国土资源事业发展的迫切需要, 充分认识国土资源大数据的内涵对
25、于实施国家大数据战略具有重要意义。参考文献1BUXTON B, GOLDSTON D, DOCTOROW C, et al.Big data:science in the petabyte eraJ.Nature, 2008 (7209) :8-9. 2程学旗, 靳小龙, 王元卓, 等.大数据系统和分析技术综述J.软件学报, 2014 (9) :1889-1908. 3王涛, 王顺, 沈益民.交通流大数据中的套牌车并行检测算法J.湖北工程学院学报, 2014 (6) :29-32. 4PARK S T, KIM Y R, JEONG S P, et al.A case study on eff
26、ective technique of distributed data storage for big data processing in the wireless internet environmentJ.Wireless Personal Communications, 2016 (1) :239-253. 5SUN Z F, DU K M, ZHENG F X, et al.Perspectives of research and application of big data on smart agricultureJ.Journal of Agricultural Scienc
27、e&Technology, 2013 (6) :63-71. 6中华人民共和国国土资源部.国土资源部关于印发促进国土资源大数据应用发展实施意见的通知EB/OL. (2016-07-04) 2017-05-06.http:/ 7辛继升.推进国土资源信息化建设若干问题的探讨J.国土资源信息化, 2008 (3) :7-11, 31. 8莫乃鹤, 朱文英.浅析昆明国土资源“大数据”建设J.国土资源信息化, 2014 (6) :38-42. 9李宗华, 彭明军, 黄新.武汉市国土资源大数据应用研究与实践J.国土资源信息化, 2016 (1) :3-7. 10尹岷, 王丰, 龚力, 等.北京市国土资源云
28、计算与大数据基础环境建设探索与实践J.国土资源信息化, 2016 (2) :14-19. 11陈伟, 徐凯.基于大数据的国土资源综合监管系统设计与实现J.中国信息化, 2016 (5) :95-96. 12彭明军.大数据助力城市国土规划管理 武汉市国士规划的大数据应用J.中国建设信息, 2014 (3) :29-31. 13严正伟.基于大数据技术的国土资源信息化应用研究J.信息化研究, 2015 (2) :1-4. 14尹鹏程, 李钢, 凌海锋.徐州市“智慧国土”建设J.国土资源信息化, 2016 (1) :8-12. 15叶东剑.大数据“慧眼守土”浅析江苏省盐城市盐都区国土资源信息化建设J.
29、中国土地, 2016 (7) :38-39. 16许峰, 吴美兰.试论基于大数据时代国土资源信息安全工作J.网络安全技术与应用, 2017 (1) :122-123. 17黄华坤.大数据时代的国土资源档案创新管理研究J.国土资源信息化, 2014 (3) :42-45. 18葛洁, 陈垦.大数据环境下的国土资源数据采集与运用J.资源与人居环境, 2016 (7) :6-11. 19陶雪娇, 胡晓峰, 刘洋.大数据研究综述J.系统仿真学报, 2013 (s1) :142-146. 20李宗华, 罗长林, 童秋英.基于高维属性智能融合的建设用地动态监管技术实现J.国土资源科技管理, 2013 (5) :58-62.
