1、ICS 01.040.03；03.100.01A 20中 华 人 民 共 和 国 国 家 标 准GB/TXXXXXXXXX消费品安全大数据系统通用结构规范General structure specification for big data system of consumer product safety （征求意见稿）XX XXXXXX 发布 XX XXXXXX 实施中 华 人 民 共 和 国 国 家 市 场 监 督 管 理 总 局中 国 国 家 标 准 化 管 理 委 员 会I目 次1 范围 12 规范性引用文件 13 术语和定义 14 基本原则 14.1 功能性 14.2 可靠性 2
2、4.3 兼容性 24.4 安全性 24.5 可扩展性 24.6 可维护性 24.7 易用性 25 消费品安全大数据系统架构 25.1 基础设施层 35.2 数据资源层 35.3 存储管理层 35.4 计算分析层 35.5 应用服务层 4参考文献 5II前 言本标准按照 GB/T 1.1-2009 给出的规则起草。本标准由全国消费品安全标准化技术委员会（SAC/TC 508）提出并归口。本标准起草单位：中国标准化研究院、安徽省质量和标准化研究院本标准主要起草人：III引 言近年来，我国消费品安全恶性事件接连不断，给人民生命和财产带来了严重的影响。国务院在 2015 年 8 月发布的促进大数据发展
3、行动纲要中明确提出， “要在质量安全等领域全面推广大数据应用”。消费品安全数据来源广泛，这些数据在信息来源、信息类型、描述结构、文本特征、表达方式和传播渠道等方面各不相同，有文本信息、图片信息、音频信息、视频信息等，有结构化、半结构化和非结构化信息，呈现出体量巨大、类型繁多、时效性高以及价值高密度低等特性。针对消费品安全数据的特性，构建适用于消费品领域的大数据平台，对平台构建原则、平台架构等进行规范，实现数据联通和信息共享，有助于提升政府科学决策和风险预判的能力，进而促进消费品质量安全改进。1消费品安全大数据系统通用结构规范1 范围本标准给出了消费品安全大数据系统的通用结构规范。本标准适用于各
4、类组织消费品安全大数据系统的建设，涉及基本原则、框架结构等规范化表达。2 规范性引用文件下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T 29263-2012 信息技术面向服务的体系结构（SOA）应用的总体技术要求3 术语和定义下列语和定义适用于本文件。3.1 消费品 consumer product为满足社会成员生活需要而销售的产品。GB/T 22760-2008，定义 2.13.2大数据 big data指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需
5、要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。3.3数据源指数据库应用程序所使用的数据库或者数据库服务器。4 基本原则4.1 功能性2消费品安全大数据系统应具备对消费品安全数据进行收集、存储、预处理、分析和应用等功能的综合系统。4.2 可靠性消费品安全大数据系统应具备故障检测及预警、发生故障时可自动地进行重启或平滑切换到备份模块的功能。4.3 兼容性消费品安全大数据系统应对硬件和软件具备较好的兼容性。4.4 安全性消费品安全大数据系统应具备用户认证、权限管理、数据备份和恢复等功能，以确保数据的安全性。4.5 可扩展性消费品安全大数据系统应具备集群
6、在线扩容和兼容功能，以确保平台的可扩展性。4.6 可维护性消费品安全大数据系统应集群状态监控、告警管理、审计日志和配置管理等功能，以确保平台的可维护性。4.7 易用性消费品安全大数据系统应面向大众化，不但专业人员、业务人员可以用，普通消费者也可以使用。5 消费品安全大数据系统架构消费品安全大数据系统技术架构由基础设施层、数据资源层、存储管理层、数据分析层和应用服务层五个层次组成，还包括规范与管理制度和安全与运维保障体系建设，如图1 所示。3安全与运维保障体系标准规范与管理制度应用服务层计算分析层存储管理层数据资源层基础设施层机器学习 统计分析数据挖掘 语义分析分析引擎数据流关系数据结构分布式文
7、件系统非结构关系数据结构 （ N o S Q L ）主数据仓库消费者投诉服务器设备 网络与通讯设施 计算及存储设施信息采集设备 信息安全设施 其他设施政府决策 行业监管 企业管理 机构评价 消费者维权可视化与发现监督抽查基础信息资源库通报召回风险监测网络舆情质量仲裁计量标准业务信息资源库认证认可检验检测信用评价经济发展社会信息资源库制造业指数环境监测多面非结构化分布式数据库H a d o o p平台清洗转换 / 加载文本挖掘M a p R e d u c e时间序列决策管理预测模型统计模型 模型验证模型管理智能监控 实时监测 事态预测 统计查询图 1 消费品安全大数据系统技术架构5.1 基础设
8、施层基础设施层包括网络、计算及存储设施、信息安全设施等硬件设施以及操作系统、数据库等软件设施。5.2 数据资源层数据资源层包括消费品安全结构化、半结构化和非结构化数据，为消费品安全大数据系统提供统一的数据来源。该层集成了国家监督抽查、国家风险监测、消费者投诉、通报召回、质量仲裁、伤害和事故检测、网络舆情等基础信息资源库，汇聚了计量、标准、检验检测、认证认可等业务信息资源库，共享利用经济发展、社会信用等社会信息资源库。5.3 存储管理层存储管理层负责从数据资源层获取数据，通过清洗、转换和加载等技术手段，以分布式文件系统、NoSQL、数据流、关系数据结构和多面非机构化数据结构等存储类型，将原始数据
9、或加工处理后的数据存储到分布式数据库、主数据仓库和 Hadoop 平台等。45.4 计算分析层计算分析层是指运用统计学、机器学习等数据分析工具从消费品安全大数据中发现知识的过程。常用的计算分析方法包括统计分析、数据挖掘、MapReduce、预测分析、语义分析、文本挖掘和空间地理分析等。5.5 应用服务层应用服务层为政府、行业、企业、消费者和第三方等消费品安全不同主体提供应用服务，包括事项发布、业务办理、事务咨询、服务评价、政策咨询、投诉反馈等功能；以及面向消费品安全领域的事态预测、智能监控、数据可视化等核心应用。5参 考 文 献1 GB/T 30136-2013 消费品质量安全风险信息采集和处理指南2 美韩家炜等著,范明等译：数据挖掘概念与技术(原书第3版) ,机械工业出版社
