1、非传统数据质量评估的国际经验及借鉴 余芳东 北京航空航天大学经管学院 国家统计局统计科学研究所 摘 要： 质量评估是非传统数据用于官方统计的前提。近年来, 有关国际组织和发达国家加强非传统数据的统计应用实践探索, 研究制定质量评估框架。非传统数据的统计应用日益广泛, 已经成为我国官方统计基础数据的重要来源。非传统数据来源分散、类型多样、数量巨大、处理复杂, 在官方统计应用中有较大的潜在风险, 政府统计部门应加强质量评估和管理, 提高非传统数据的应用水平。有必要借鉴国际经验, 从数据源条件、元数据、数据三个方面研究构建我国政府统计中非传统数据质量保证框架, 以规范应用标准, 进一步夯实官方统计基
2、础, 提高源头数据质量。关键词： 非传统数据; 质量要素; 保证框架; 政府统计应用; 作者简介：余芳东, 女, 1989 年毕业于中国人民大学统计学系, 获硕士学位, 北京航空航天大学经管学院在职博士, 现为国家统计局统计科学研究所三级职员。研究方向为经济统计和国际比较统计。基金：全国统计科学研究项目“非传统数据质量保证框架研究” (2017LZ17) 资助The International Experience of the Quality Assessment for the Non-Traditional Data and Their Reference to ChinaYu Fang
3、dong Abstract： The quality assessment is a prerequisite for the use of non-traditional data for official statistics.In recent years, the relevant international organizations and developed countries explore the application of nontraditional data, develop data quality assurance framework. Non-traditio
4、nal data has become an important source of official statistics in China. Non-traditional data has the characteristics of diverse types, the huge amount and complexity, there are the potential risks in the use of the official statistics. The statistical organizations should strengthen data quality ma
5、nagement and improve the application capacity of non-traditional data. With reference to international experience, from the three aspects of data source, metadata, data, this research would construct the quality assurance framework of non-traditional data for Chinas official statistics.Keyword： Non-
6、Traditional Data; Quality Elements; Assurance Framework; The Application for Official Statistics; 一、引言近年来, 随着现代信息技术的发展和应用, 电子行政管理记录、各类商业交易、电子设备传感、互联网交互等非传统数据大量积累, 广泛应用, 成为政府统计的重要补充来源。非传统数据以及时高频、分类详细、成本效益等优势, 补充传统数据的不足, 在国际社会已有许多成功的统计应用案例。近年来, 我国政府统计部门逐渐在农业、商贸、价格、投资等多个统计领域开展了非传统数据应用的实践研究和探索, 在提高政府统计的
7、时效性、细化数据结构等方面发挥了积极作用1。与传统数据相比, 非传统数据不是专门为统计目的而生成的, 来源分散、类型多样、数量庞杂、处理复杂, 数据的代表性相对不足, 特征性不够明显, 数据质量不高, 为官方统计的应用带来了困难和障碍。因此, 研究制定非传统数据质量保证框架, 开展质量评估显得尤为重要和迫切, 直接关系到官方统计数据的真实可靠性, 关系到政府统计部门的权威和公信力。联合国官方统计基本原则规定, 任何数据源在纳入官方统计生产过程之前, 必须进行质量评估和认证, 以提高数据质量、规范统计行为。现行的统计数据质量保证框架、评估管理办法、业务流程规范等制度文件尚未充分考虑到非传统数据的
8、质量特征和评估标准2。近年来, 联合国欧洲经济委员会 (UNECE) 、欧盟统计局和有关发达国家统计部门着手研究开发官方统计中大数据质量标准和评估框架, 以规范大数据的统计应用行为, 提高统计应用价值和水平。本文在梳理非传统数据类型、应用的潜在风险及其国家统计部门面临的新要求新任务的基础上, 归纳了国际上政府统计中非传统数据质量评估要素和基本框架, 借鉴国际经验并结合实际, 研究构建了我国非传统数据统计质量保证的初步框架。二、非传统数据类型、应用风险及其对政府统计部门的要求非传统数据类型多样, 在统计领域中应用的潜在风险较大, 对官方统计发展提出了新机遇新挑战。(一) 非传统数据类型通常, 传
9、统数据是指运用统计调查的理论和方法进行设计, 通过普查、抽样调查、统计模型等官方渠道专门收集的数据。传统数据生成过程是可控的、有序的, 数据特征明显, 以结构化形式展示, 它是对经济社会现象的直接测量。而非传统数据则指通过非传统调查渠道、从第三方获取的数据, 它不是专门为统计目的而收集的。作为经济社会活动的副产品或附带品, 非传统数据的生成过程具有一定的不可控性和无序性, 数据的统计特征不明显, 需要应用技术手段和计量模型进行数据处理分析, 从中挖掘有价值的数据规律, 它是对经济社会现象的间接测量。按照原始数据生成的方式, 可将非传统数据划分为五种类型: (1) 行政记录数据。指政府部门和公共
10、部门在行使行政管理职能过程中, 通过注册登记等记录的大量信息数据。 (2) 商业记录数据。指企业和个人在生产经营管理过程和商业交易过程中记录的商业数据。 (3) 互联网数据。指基于互联网使用而产生的数据。 (4) 电子设备传感数据。指通过电子传感和测量设备而生成的数据。 (5) 其他非传统数据。指政府统计机构以外有关单位搜集、加工和发布的数据信息等。非传统数据的形式和采集方式不同于传统调查数据。前两类是以记录、数据库为主的结构化数据, 第 (3) 、 (4) 类主要是以文本、音频、视频、信号、图片等为主的半结构化和非结构化数据。数据采集方式可通过法定渠道获取, 可与政府部门和企业签订共享交换协
11、议、建立信息共享机制来获取, 可从第三方购买数据, 也可以利用网络爬虫软件直接从网络抓取数据等。广义上, 非传统数据包括大数据但不限于大数据, 它比大数据具有更宽泛、更丰富的内容, 涵盖政府统计机构以外所有数据源和统计产品。狭义上, 大数据是非传统数据的主体, 非传统数据在很多情形下可以代指大数据。上述行政记录数据、其他非传统数据在有的场合不视作严格意义的大数据。澳大利亚3、荷兰统计局4把第 (1) 、 (2) 类电子化的行政记录数据和商业记录数据又称作二手数据源。联合国欧洲经济委员会在大数据质量评估建议框架6中, 则把大数据称为二手数据, 具体类型包括感应数据、测量数据等来自电子设备的活动记
12、录数据, 社交信息, 商业交互数据, 非结构化文档, 视频音频信息等五大类。尽管国际上对非传统数据类型尚无统一界定划分, 但对非传统数据的认识和理解则大体相同。(二) 非传统数据应用的潜在风险非传统数据的应用风险可主要归纳为如下三种:1. 数据质量不高, 可能出现“垃圾进, 垃圾出”问题。高质量的数据产出取决于高质量的数据投入。很多非传统数据存在噪声异常、特征含糊、冗杂缺失、标准不一等问题, 数据清洗是非传统数据应用的重要基础环节。经验表明, 数据清洗所花费的时间和精力占非传统数据处理应用过程的 50%80%。建立质量标准, 进行质量评估, 是非传统数据统计应用的前提条件。2. 数据处理复杂,
13、 可能因方法不当而导致错误的统计结果。非传统数据复杂, 技术处理和方法难度大, 无法运用通行划一的算法和模型对数据进行自动分析处理。模型和技术方法对非传统数据的统计应用开发至关重要。选择不同的方法和模型, 可能会得出不同的结果和结论。如何从海量、无序、冗杂的非传统数据中, 运用精准的智能模型、机器学习等技术方法, 去伪存真、由表及里, 挖掘出数据的本质特征和内在规律, 是非传统数据统计应用面临的技术难题。3. 数据不稳定, 可能导致统计应用的失败。非传统数据是在某一特定的环境条件下产生的, 影响信息生成的因素多, 不确定性大, 有许多主观判断和偏见, 表现出较强的不稳定性和散发性, 导致信息失
14、实失真。如果不能有效识别此类问题, 即便经过数据清洗和方法处理等大量投入过程, 最终也不能得出正确的统计结果, 应用失败的风险很大。(三) 政府统计机构在推动非传统数据开发应用中的作用政府统计机构应充分发掘利用非传统数据, 研制统计应用的标准和规则, 引导非传统数据的科学规范应用, 充分发挥非传统数据在经济社会管理中的积极作用。与此同时, 当前政府统计部门面临调查配合度下降、传统数据质量问题频发等困境, 迫切需要创新统计调查方式, 补充完善传统数据的不足, 以破解统计工作的瓶颈。在外部迫切需求和内部改革压力的双重要求下, 政府统计机构应以此为契机, 构建现代化统计调查体系, 推动政府统计的职能
15、转变和改革发展。政府统计机构在推进非传统数据应用中身兼多重身份。1. 作为管理者, 制定非传统数据统计应用质量评估标准和统计应用规则。如何对非传统数据进行识别、审查, 保证数据质量是当前统计机构面临的一大挑战。联合国官方统计基本原则第 5 条规定, 用于统计目的的数据可取自各种来源, 统计机构在选择资料来源时应考虑到数据的质量、及时性、代价及调查负担。目前在非传统数据的统计应用案例中, 主要关注数据采集方式、技术方法和代码等, 但对数据的可靠性、有效性和适用性未能充分解释, 对总体代表性、统计误差估算等未能给出有效的解决方案。政府统计机构应遵循官方统计的基本原则, 加强顶层设计, 制定非传统数
16、据统计应用的质量标准、基本原则和应用准则, 规范应用行为, 为非传统数据的统计质量评估和统计开发应用提供指导依据。2. 作为开发者, 充分利用非传统数据, 构建现代统计调查体系。非传统数据有及时高频、分类详细等特点, 可弥补政府调查数据的不足。政府统计机构应加强与第三方数据来源机构的合作, 运用现代信息技术和方法, 创新数据采集方式和拓宽其来源渠道, 改革统计生产方式, 优化政府统计业务流程, 构建传统数据和非传统数据兼容并举、深度融合的现代化统计调查体系, 相互补充、相互印证、相互对接, 以丰富统计内容, 拓展统计领域, 提高统计效能。3. 作为倡导者, 引导正确理解和使用基于非传统数据开发
17、的统计产品。以非传统数据为来源, 编制、生产和发布统计产品, 实时反映和监测不同行业、不同领域经济社会发展趋势, 是经济社会统计监测的重要内容。而社会上各种非传统统计产品良莠不齐, 容易引起误导误解。政府统计机构应支持鼓励相关部门遵循政府统计数据质量保证框架和统计业务流程, 规范开发应用非传统数据, 加强合作研究, 梳理和汇集非传统数据的统计应用案例, 可考虑建立“非传统数据开发合作中心”。通过深度开发, 验证政府统计数据, 补充数据缺口, 全方位多角度监测经济社会发展状况和进程, 增强统计服务宏观决策管理的信息基础。另一方面, 通过过滤、筛选和甄别, 指导和帮助用户正确理解、解读和使用基于非
18、传统数据开发的统计产品。4. 作为推行者, 推动非传统数据应用的实践经验共享。越来越多的机构基于非传统数据来源, 开发研究新的统计产品, 在数据采集、处理方法和程序、发布解读方面积累了很多可资借鉴的经验。政府统计机构应及时归纳总结非传统数据统计应用的知识技能、专业方法和经验做法, 作为最佳应用实践指南, 加以推广、交流和共享, 提升非传统数据的统计应用能力和应用水平。必要时, 可以考虑为资深机构颁发“信任标识”, 鼓励探索创新。三、国际上关于非传统数据统计质量的评估框架现有的数据质量保证框架主要针对传统数据而设置, 不完全适用于非传统数据质量的特征要求。遵循联合国官方统计基本原则, 有必要研究
19、制定非传统数据质量评估标准和评估框架。为此, 联合国大数据全球工作小组研究起草了官方统计使用的新数据源获取建议原则 (2016 年) 5, 规定了从第三方获取新数据源时统计机构和私人机构的权利和义务, 维护数据的机密性、适用性、专业独立性、问责制, 进行成本效益论证, 提供描述清晰完整的元数据以及公开透明的数据应用声明, 其目的是呼吁有关机构提供新数据源的社会责任, 帮助统计机构从第三方获取新数据源, 保护利益攸关方的合法权益, 保证官方统计源头的数据质量。近年来, 联合国欧洲经济委员会、欧盟统计局分别提出了大数据质量评估建议框架和官方统计使用大数据的认证程序, 许多发达国家政府统计机构着手修
20、订现有数据质量评估框架, 把数据质量控制管理从传统调查数据延伸到非传统数据, 以增强官方统计基础。(一) 欧洲经济委员会 (UNECE) 大数据质量的建议框架欧洲经济委员会研制的大数据质量评估建议框架 (BDQF, 2014) 6, 在尽可能地与现有统计质量框架保持一致的情况下, 增加了大数据质量的新要素。它遵循三个基本原则:一是适用性。评估大数据是否适用于统计目的, 这是质量评估的首要目标。二是通用和灵活。采用多维度、多要素的结构化评估方法, 以适用于各种类型的大数据质量评估要求。三是付出与效果相应。只有当大数据满足质量标准的最低要求时, 才能应用于官方统计生产过程, 突出质量评估在大数据统
21、计应用中的重要地位。大数据质量框架分为三个阶段:1. 数据投入 (Input) , 即数据发现或挖掘阶段。对可获取、可采集的大数据进行质量评估和分析, 决定数据源是否适用于统计用途, 如何获取和采集等。2.数据处理过程 (Throughput) , 即数据采集和数据发布之间的中间环节。包括数据转换、加工和分析等。要求数据源具有系统独立性、稳态性, 采用“质量门”的管理模式。数据质量评估包括若干个质量门7, 只有当数据在每一质量节点上达到可接受的标准, 才能转到下一环节的评估。3. 数据产出 (Output) , 即数据产出成果的评估和发布阶段。对以大数据源编制开发的统计产出成果进行质量评估,
22、形成统计报告, 对外发布等。大数据质量评估建议框架采用多维度、多要素的评估方法。数据投入和数据产出分别包括数据源、元数据、数据三个质量维度, 每一维度包括若干个质量要素, 每一质量要素包括若干需要考虑的质量因素, 逐项评估。大数据质量要素除了具备数据准确性、全面性和连贯性、代表性、及时性和完整性等数据质量的基本要素以外, 增加了大数据质量所特有的新要素。在数据源方面, 包括数据源的可持续性、可靠性、透明度、可解释性等影响数据质量的制度环境, 突出隐私和机密安全的重要性, 建立相应的保密制度和措施, 保证大数据只用于统计目的。在元数据方面, 包括数据的复杂性、完整性、可用性、适用性、关联性和一致
23、性等, 关注数据标准、定义和结构变化等影响大数据统计应用的潜在质量问题。在数据方面, 重点关注数据的准确性、选择性、有效性、关联性、时效性等。图 1 UNECE 建议的大数据质量框架 下载原图(二) 欧盟统计局关于官方统计使用的大数据认证程序欧盟统计局开发的“以大数据源作为官方统计投入数据的认证程序” (2013) 8, 把现行的行政记录数据质量框架扩展到各种类型的大数据源认证中。该认证程序采用递进的方法, 分 5 个阶段评估大数据质量, 要求在每个阶段做出相应的决定。1. 从数据源和元数据两个基础信息入手, 评估大数据源的潜在用途, 包括信息范围、单位、变量、时效性和频率等。2. 探索获取大
24、数据源的可能性, 包括必要的数据汇总层级和数据交换格式。3. 分析大数据源质量, 包括以下步骤:一是大数据质量评估和处理;二是大数据清洗、估算和汇总等;三是统计指标估算, 与现有相关指标的对比分析;四是对新产出的统计成果进行准确性评估。4. 对大数据的获取和应用进行决策, 在统计产出成果的影响、时效性、成本效益、法律法规问题、不可控因素的后果等方面进行综合权衡和风险管理评估, 并做出决定。5. 统计部门与数据来源机构签订合作协议。图 2 欧盟统计局建议的大数据源认证流程图 下载原图(三) 美国普查局和公众舆论研究协会对非传统数据的质量评估1. 美国普查局对非传统数据质量要素的研究探索。美国普查
25、局为应对传统调查回答率下降而调查成本上升、用户对数据更及时更详细的迫切要求以及经济快速变化的挑战, 专门成立了大数据研究工作组, 开展将大数据纳入官方统计生产过程的试验研究, 评估大数据质量, 探索制定大数据的统计应用政策和质量标准。大数据统计应用研究的重点领域包括:信用卡交易数据、零售业扫描数据、小区域估计、房屋销售和赎回、建筑开工许可、个人可支配收入和消费者信心等。研究目标是:把大数据与传统调查数据相结合, 提供更详细的地理和行业细分类数据;采用非官方的第三方数据, 以减轻调查负担;使用实时数据提高官方统计的时效性和频率等。经过试验研究和实践探索, 美国普查局将非传统数据质量归纳为 7 个
26、方面9:(1) 准确性:可以识别异常值和误差, 确保数据无错误。(2) 一致性:提供的大数据在时间上是一致的, 保证相对稳定。(3) 透明度:大数据的处理方法程序是透明的, 有据可查。(4) 代表性:大数据对目标总体有代表性, 数据范围、分类差异和偏差是可理解和可解释的。(5) 完整性:数据源是完整的, 数据缺失的模式是可理解的。(6) 安全性:数据访问、采集、获取受到一定限制, 要有相应的安全保护措施。(7) 持续性:数据源提供是可持续的, 可生成时间序列数据。2. 美国公众舆论研究协会大数据总误差评估框架。美国公众舆论研究协会 (AAPOR, 2015 年) 10提出的大数据误差评估框架,
27、 专门研究基于大数据源的统计准确性问题。它把传统的调查数据和行政数据中误差来源分析过程扩展到大数据的统计应用中。统计误差分为三个来源:一是数据生成过程中的错误, 包括信号噪声、信号缺失、信号不完整以及非随机误差等;二是数据处理过程中的错误, 包括在数据匹配、编码、编制以及数据获取和汇总过程中产生的错误;三是数据分析过程中的错误, 包括基于模型推断中噪声积聚、伪相关等。此外, 近年来澳大利亚、荷兰为减轻调查负担、节约统计成本, 在官方统计中广泛使用政府部门、公共服务部门和企业电子交易数据 (又称二手数据源) , 制定了行政数据应用的质量管理和评估办法。澳大利亚统计局为加强对数据源的质量管理, 在
28、现有数据质量框架的基础上补充制定了使用行政数据的质量管理办法 (2011 年) 3, 规定在使用行政数据时应考虑和关注以下问题:数据立法基础, 数据的可用性、稳定性和可持续性, 元数据的可用性和获得性, 数据收集过程及其影响因素, 行政数据收集、存储、处理和使用系统的管理, 数据获取和发布的政策敏感性, 数据收集过程的独立性和透明性, 数据编辑策略和转换, 与其他数据源的连贯性以及机密保护和获取协议等。荷兰统计局数据质量指南 (2014) 4把二手数据源列为质量评估的对象, 从效用性、统计概念的一致性、完整性、准确性、与其他数据源的连接性、稳定性等几个方面进行评估。四、对构建我国非传统数据质量
29、保证框架的初步探索充分利用非传统数据是构建我国现代统计调查体系的重要内容, 也是推进统计改革创新的重要举措。近年来, 国家统计局在诸多统计领域开展了非传统数据统计应用的实践研究, 广泛用于官方数据的生产、评估和校验, 数据缺口插补和替代, 小区域估计, 细分类比例推算, 名录库维护和更新, 创建抽样框等各个方面。目前, 各专业都有相应的非传统数据采集工作流程监督、审核、质量评估机制, 有的已形成规章制度和应用办法, 但也存在非传统数据获取渠道不畅、开放共享不充分、应用程度不深、效率低下、数据整合衔接难等问题, 应用难度很大。为提高非传统数据的统计应用价值和应用水平, 有必要借鉴国际经验, 研究
30、制定我国非传统数据质量保证框架。在研究构建非传统数据质量保证框架时需要考虑如下几个原则:一是作为补充和延伸框架, 应与现有统计数据质量保证框架相衔接。它是多维的、多要素的组合, 针对非传统数据的特点, 增加新的质量要素和评估环节。二是决策贯穿于评估的各个环节。非传统数据来自于非官方调查渠道, 从第三方获取, 它不是专门为统计目的而收集的, 只有通过评估才能决定能否采集和应用。三是通用与专用相结合。非传统数据质量保证框架应包括通用框架和专业框架两种, 既有非传统数据的共性质量要求, 又有针对不同类型数据的特殊质量要求。本文借鉴国际先进经验, 研究构建了我国非传统数据质量保证的通用框架。表 1 非
31、传统数据在我国官方统计中的应用 下载原表 初步设想是:非传统数据质量保证框架分为三个维度, 即数据源条件、元数据和数据。每个维度包括若干个质量要素, 每个质量要素包括若干个质量指标或评估方法, 采用递进的结构化方法进行评估。非传统数据质量保证框架应遵循联合国官方统计的基本原则, 以数据源满足统计用途为目标, 开展三个阶段的数据质量评估, 在此基础上决定是否获取和应用, 以确保源头数据质量。1.数据源条件的质量评估。统计机构在策划应用非传统数据时, 首先要对数据源条件进行评估, 对数据源机构进行资格审查, 即质量的前提条件, 具体包括数据源机构信誉、合法性、管理制度环境等对数据源产生重大影响的相
32、关因素。其质量要素包括:(1) 制度环境。了解数据源生成的目的、环境、法律和制度基础, 论证数据源生成过程的透明度和独立性等。(2) 隐私和安全。了解数据源隐私与信息安全、数据共享开放程序、数据保密硬软件技术、制度规定等保障措施, 确保符合国家政策和法规的要求。(3) 可持续性。数据源应具有一定的稳固状态, 在一定时期内保持相对稳定, 可持续获取、采集和应用, 可生成时间序列数据。(4) 成本效益。评估在不新增调查项目的情况下应用非传统数据源的可能性, 包括新数据源的应用成本, 需要增加的技术条件和基础设施, 评估数据源的统计用途和统计预期, 以最小投入取得最大产出。(5) 技术程序。了解数据
33、源在业务流程关键节点上的程序变化、使用限制和风险等, 当数据源不能按协议传输时应有应急备份方案。2.元数据的质量评估。元数据是数据的描述和说明文件, 对正确理解和应用非传统数据源至关重要。其质量要素包括:(1) 完整性。检查是否有完整的、可读的元数据, 包括应用程序和质量措施, 数据连接变量, 使用标准、标识解析、接口应用模式, 数据记录日志等, 需要第三方提供完整详细的说明信息。(2) 清晰性。应包括数据范围、单位、分类标准和技术标准、变量定义, 数据频率, 使用的默认值, 数据类型, 储存格式, 数据调整方法和程序等。(3) 兼容性或可比性。与统计标准的兼容程度, 包括总体范围和变量定义与
34、国家统计标准的可比性, 概念定义和口径范围与其统计预期用途的一致性, 标准定义在时间变化上的一致性等。(4) 有效性。元数据与统计预期目标和其他数据集的关联匹配情况, 数据生成过程和方式的说明检验, 数据收集方式和整理过程的透明和健全性, 进行使用风险分析等。(5) 稳态性。检查数据范围、变量、标准、标识、程序、代码、规则、默认值等历史变化。3.数据的质量评估。在非传统数据通过了数据源条件、元数据的质量评估之后, 如果符合质量标准, 则转到第三阶段, 对统计应用的非传统数据本身进行质量评估。其质量要素包括:(1) 技术检查。检查数据访问渠道、采集方式、储存手段等, 数据是否符合元数据的定义,
35、数据代码、格式转换和自动导入技术, 数据层次和套嵌, 利用计量模型、统计方法、数据挖掘和机器学习等技术进行数据清洗识别、特征性分析和初步结果分析。(2) 准确性。评估数据反映测量现象的准确程度, 数据总误差和误差来源分析, 对奇异值的检测、甄别和诊断, 数据处理方法的合理性论证等, 将误差降到最低。(3) 关联性。与参考数据集的相关程度, 与其他相关数据源的相互连接、配套和衔接关系, 运用关联分析、相关分析、趋势分析、实时分析、可视化分析等方法进行评估和印证, 以便更全面更及时地反映经济社会变化趋势。(4) 选择性或代表性。评估数据覆盖范围、关注领域和代表程度, 数据重复和缺口等。(5) 时效性。评估从获取数据到基准期结束之间的间隔, 实际获取数据的时间与协议预定时间的滞后, 基准期结束与应用数据源取得统计结果之间的时间等。图 3 我国非传统数据质量保证基本框架图 下载原图
