1、大数据在社会舆情监测与决策制定中的应用研究 蔡立辉 杨欣翥 暨南大学公共管理学院应急管理研究中心 兰州交通大学机电工程学院 摘 要： 社会舆情是一定时期、一定范围内的社会公众对社会现实中带有一定影响力的“焦点”、“热点”问题的主观反映或者有明确态度的意见与言论,是群体性的思想、心理、情绪、意见和要求的综合表现,社会舆情通过一定的媒体方式形成并传播,对社会秩序和公共组织的形象都产生重要影响,因而往往受到社会的广泛和高度关注。社会舆情生命周期内从生存、发展、演化、爆发到衰退的过程都是以数据的形式存在并发挥作用。这些瞬息万变、纷繁复杂的海量信息,构成了最基本的社会舆情内在机理。在大数据技术支撑下,根
2、据过去已经发生的社会舆情分析把握现在、预测未来成为可能。拥有了对社会舆情海量数据占有、控制、分析、处理的主导权,就拥有了社会舆情“数据主权”;拥有了社会舆情“数据主权”,并将大数据优势转化为预警决策优势,继而转化为应急处置和导控优势,就实现了社会舆情监测、预警决策的科学化,就拥有了应急处置和导控的主动权。因此大数据开启了社会舆情监测分析、预警决策、应急处置和导控的时代转型,以大数据为基础和支撑,探索形成从过去发生了什么(构建社会舆情数据库和案例库)为什么会发生(社会舆情内在机理分析)现在正在发生什么(社会舆情监测与分析)将来会发生什么(社会舆情预警)如何应对(输出社会舆情导控与营造社会舆情环境
3、等决策方案)的分析路径,必将成为一种新的前沿。关键词： 大数据; 社会舆情; 监测; 预警; 决策支持; 作者简介：蔡立辉(1965),男,湖南益阳人,法学博士,院长,主任,教授,博士生导师,从事公共管理与国家治理转型、政府绩效评估、电子政务、大数据与社会风险治理、法治行政等研究;作者简介：杨欣翥(1981),女,湖南长沙人,讲师,管理科学与工程博士生,从事社会风险评估与治理研究。收稿日期：2015-01-12基金：国家社会科学基金重大项目“大数据环境下社会舆情分析与决策支持研究”(14ZDB166)Received： 2015-01-12正如科学家维克托迈尔舍恩伯格所说:“世界的本质是数据,
4、大数据将开启一次重大的时代转型。”19 大数据使社会舆情治理形态和监测方式发生重大改变,开启了社会舆情治理的新时代。在大数据技术支撑下,社会舆情的监测分析、预警决策、应急处置和导控从分析过去发生了什么和为什么会发生、到把握现在正在发生什么、再到预测将来会发生什么和进行自动化决策输出成为可能。实时的社会舆情事件信息、各种监测平台搜集的舆情信息、舆情监测分析报告、舆情导控措施、舆情决策、传感器信息等,都是以数据的形式存在并发挥作用。这些瞬息万变、纷繁复杂的海量信息,构成了最基本的社会舆情及其监测分析、预警决策、应急处置、导控和治理生态。拥有了对社会舆情海量数据占有、控制、分析、处理的主导权,就拥有
5、了社会舆情“数据主权”;拥有了社会舆情“数据主权”,并将大数据优势转化为预警决策优势,继而转化为应急处置和导控优势,就实现了社会舆情监测、预警决策的科学化,就拥有了应急处置和导控的主动权,大数据的应用实现了社会舆情更深入的分析和更精准的预测。因此,通过大数据这种创新方式来分析过去、把握现在、预测未来,有利于提高社会舆情治理决策能力,有利于运用大数据及其技术进行社会舆情监测分析、预警和营造健康的社会舆情环境,有利于探索以大数据为基础的提高社会舆情治理决策能力和营造社会舆情环境的方案。一、大数据与社会舆情治理研究的缘起:社会需求与研究局限大数据的来源主要是互联网交易、移动终端、各种网络设备和传感器
6、、社交媒体等,因其数据体积大(Volume)、更新处理速度快(Velocity)、数据样式多样(Variety)、真实性(Veracity)、价值性(Value)等特征而广泛应用于企业管理、政府管理、商业、医疗、教育等领域。大数据技术及相应的基础研究已经成为学术界的研究热点,大数据科学作为一个横跨信息科学、社会科学、网络科学、系统科学、心理学、经济学等诸多领域的新兴交叉学科方向正在逐步形成;大数据隐含着巨大的社会、经济、科研价值,已引起了各行各业的高度重视2,3,引起了各国政府的高度重视,并已成为重要的战略布局方向。大数据已经成为当前社会最热门的话题之一,同时也是学术界一个新兴的研究主题和研究
7、领域。随着互联网和新媒体的迅速发展,大数据带来的信息革新为社会舆情的生成、发展、演化创造了条件,为党委政府对社会舆情研判、监测、预警、应对处置、决策带来了巨大的挑战,社会舆情诱发了大量的社会舆情事件,严重危害了社会秩序,有损党委政府的形象;同时,大数据也为党委政府进行社会舆情监测分析、预警决策和导控带来了技术优势,为大数据在社会舆情治理领域的应用提供了广泛需求。因此,对于社会舆情治理而言,大数据环境如同一把双刃剑:一方面加速了社会舆情的生成、发展和演化,加速了社会舆情的传播和社会舆情事件的生成,数据的流动性和可获取性加大了社会舆情导控和处置的难度;另一方面,大数据技术及其应用的不断成熟为采用数
8、据分析方法进行社会舆情监测分析、预警和导控等科学决策提供了有力的技术支撑。然而,已有关于大数据与社会舆情治理的研究,与大数据环境下推进社会舆情治理体系和治理能力现代化的要求相比还存在较大局限性,主要表现为:第一,已有关于大数据的研究,主要从大数据作为一种时代背景来介绍和认识,从世界的本质是数据的角度将大数据理解为信息的广泛、多、庞大、海量,从技术及其应用的层面上将大数据作为一种新技术,强调了对大数据技术及其应用研究,强调了大数据技术及其应用对人类价值体系、知识体系、生活方式、管理方式和社会治理方式的影响研究11。这些研究,在相当程度上起到了引领人们认识大数据及其本质的作用,向人们展示了大数据时
9、代的特征、大数据的力量、大数据的广泛应用;也为大数据环境下社会舆情治理决策研究奠定了雄厚的基础,为采取数据分析方法来促进社会舆情治理科学决策提供了支持。因此,以往对于大数据的研究,主要是围绕大数据的背景、概念、特征、重要性、数据挖掘技术、数据分析技术等内容进行研究,充分体现了技术导向的研究特点,导致人们往往把它与 IT 联系在一起;以往对于大数据的应用尚未触及或较少涉猎社会舆情治理决策领域的应用。这就需要我们在充分吸收前人研究成果的基础上,拓展大数据研究和应用的领域,将大数据与社会舆情监测分析、社会舆情预警和导控、社会舆情治理的决策方案结合起来,通过获取海量的社会舆情数据,通过社会舆情数据分析
10、来监测、预警和导控社会舆情,从而达到提升社会舆情治理能力、引导社会主流价值观和社会舆论的目的。而这种研究,就不是仅限于对大数据本身进行研究,也不是纯粹的社会舆情传播路径和传播规律的研究,而是要充分运用大数据技术和海量的社会舆情信息,根据社会舆情生成、发展、演化和衰退的内在机理来研究社会舆情信息的获取与识别、监测分析与预警、导控等治理决策方案,是在以往大数据研究的基础上进一步深化和拓展大数据技术在社会舆情治理决策领域的应用;这种研究也不是一个纯粹的技术方案,而是大数据技术与社会舆情治理二者的有机结合,解决的是社会舆情监测、预警、导控和营造健康的社会舆情环境等决策问题。这种研究强调将大数据、社会舆
11、情及其治理决策三者关联起来形成一个有机整体。第二,已有关于社会舆情及其内在机理的研究,一是分别从政治学、社会学、新闻传播学等学科视角对社会舆情的内涵、表现及其本质特征进行的研究,阐述了无论是西方资本主义国家还是我们社会主义国家,社会舆情既是公众表达诉求的民主体现,又在一定程度上造成了社会影响与危害,研究成果阐明了对社会舆情要进行有效治理的必要性4;二是随着移动网络技术、新媒体和自媒体形式的出现和普遍应用,网络和自媒体成为公众表达诉求的重要载体和渠道,网络舆情成为社会舆情的重要组成部分,网络舆情的研究和治理越来越引起重视5;三是研究了社会舆情(网络舆情)生命周期内生成、发展、传播路径、演化、衰退
12、的过程6。这些研究成果构成了大数据环境下社会舆情治理决策研究的重要基础,提供了有益指导。但是,这些研究将社会舆情与社会舆情信息分离,对社会舆情分类的混乱、不科学性与不合理性,导致无法对社会舆情信息进行有效分类;研究成果虽然研究了生命周期内社会舆情(网络舆情)生成、发展、传播路径、演化、衰退的过程,但对生成、发展、演化、衰退之间的内在关联缺乏研究,需要将研究视角从单向度的内容研究转变为“内容关系”的多维度研究。世界的本质是数据,但不是要堆积数据,而是要探寻数据之间的内在关联性,从而才能提高社会舆情治理决策的科学性、有效性。第三,已有关于社会舆情治理组织模式的研究,主要集中在问题理论视角与行动规则
13、研究、从国家与社会的理论视角介绍与研究了发达国家社会舆情治理的组织模式、管理场域与战略目标研究、网络舆情治理主体与互动机制研究、社会舆情治理组织适应模式等方面7,丰富的研究成果对社会舆情治理组织的构成、行动规则、管理场域、管理目标、互动机制、信息流动、舆情治理组织的能力与发展等问题的研究与解决;对大数据环境下虚拟社会场域中社会舆情的“蝴蝶效应”、局部性问题更容易失控而迅速演变为全局性危机等问题的研究与解决,都提出了许多非常具有见地的观点,这对于完善社会舆情治理体制机制起到了重要的指导作用。但是,已有的研究对于社会舆情治理组织的角色定位、权力边界与组织功能问题的研究,对于大数据环境下社会舆情治理
14、组织间分工协作机制和信息资源共享机制的研究,对于社会舆情治理组织模式如何适应社会舆情演化规律及应对规则的研究等等,都还显得有些薄弱。因此,发挥大数据对社会舆情治理组织模式创新的研究,既需要吸收和运用前人的研究成果,又需要根据大数据时代的特征与需求,进一步拓展和丰富前人关于社会舆情治理组织模式的研究;既要考虑大数据技术环境的属性,又要考虑政治、经济、技术、社会、心理和政策环境的变化,从虚拟社会场域中的社会舆情特征及其治理要素分析中研究大数据环境下社会舆情治理组织的角色定位、权力边界与组织功能,从社会舆情的生成、发展、演化、衰退的数据关联分析中研究各种治理组织间分工协作与动态调整规则,研究社会舆情
15、治理组织的运行机制以及政策工具运用。第四,已有关于社会舆情监测和预警体系研究,主要从技术和应用的角度,对社会舆情传播源、传播渠道、内容价值等不同维度构建了多套社会舆情监测指标体系8,从应用的角度还设计了多个行业舆情监测指标体系。同时,已有研究还从多个角度研究构建社会舆情的预警体系和预警模型。已有研究在理论上拓展了社会舆情治理的研究,为构建社会舆情监测指标体系和预警体系开阔了视野、提供了范式;在实践上为有效防范和处置舆情事件、进行社会舆情监测和预警提供了有益指导,具有探索性、开创性。但是,已有研究还有待于进一步丰富和拓展:一是随着人们对于社会舆情在生成、发展、演化、衰退内在机理和内在规律认识的不
16、断提高,随着大数据技术、政治、经济、社会和政策环境的变化,以往的监测指标和预警方式会逐渐表现落后与过时,以往没有认识到的一些监测指标和预警方式,随着人们认识的提高和环境的变化,新的监测指标和预警方式需要补充和完善,科学性需要进一步提高,已有社会舆情监测指标、预警方式、预警模型的研究需要丰富和发展;二是已有研究只是注重了监测指标体系的构建,忽视了监测指标背后所需要的信息支撑,忽视了社会舆情信息获取的可行性,社会舆情分析的深度不够,监测指标体系构建与社会舆情信息脱节,导致监测指标、预警方式在实际应用中具有不可操作性、不可实施性,需要把社会舆情监测指标和预警模型构建与舆情信息分析有机联系起来;三是已
17、有对社会舆情监测、预警的研究主要集中在社会舆情信息的采集及信息源的扩展方面,所依据的数据库相对来说比较简单、结构单一、数据量有限,还停留在 TB 级别,在流程上忽视了社会舆情监测与预警之间的内在关联性;四是舆情信息源整合不够,信息采集质量不高,对于舆情预警系统来说,信息源多样,以微博、社交网络、即时通信为载体的“微内容”是主要的信息来源,现有舆情监测手段的信息源明显不够,对各类信息源的整合力度不大,不能实现全网采集,制约了舆情预警的效果。采集算法较为简单,信息采集呈现重复性、非相关性和表层化,导致采集的信息多为重复的、非相关的、浅层的,甚至是虚假的信息;五是舆情分析过程缺乏智能性,信息分析深度
18、不够,现有舆情预警系统在信息处理方面,要么是将收集的信息经过简单整理后交给工作人员进行人工定性分析和经验判断,要么是借助舆情字典和统计学进行分析判断,导致获取的信息多为统计层面的相关数据,没有深入挖掘数据背后隐含的深层知识,更无法涉及舆情信息的语义层次,系统智能化程度不高;六是舆情预警研判功能偏弱,无法满足决策支持,现有的舆情系统进行预警时多为自动舆情分析报告和人工经验相结合的方式,鲜有设置科学系统的预警研判指标体系,从而导致提供的预警结果的不可预料性和不科学性,无法保证危机预警决策的效果。因为现有的舆情系统进行预警时多为自动舆情分析报告和人工提炼出舆情分析的各项指标与评分方法,但指标体系的构
19、建欠缺深度,对信息源的分类不够细致,对社会舆情的多样性和复杂性信息缺乏充分和系统的考量,终究使得理论上构建的社会舆情监测指标体系难以在实践中发挥作用。因此,发挥大数据对社会舆情监测和预警体系作用的研究,一是要以社会舆情信息科学分类、充分获取社会舆情信息为基础,运用大数据技术解决社会舆情信息采集困难、获取信息不及时、获取的信息不精准、信息应用不便利等问题;在社会舆情研究的重点上,实现从舆情信息采集转向数据加工、数据挖掘、数据处理和可视化等,实现数据库支持从简单的、有限的数据库转向非结构化的大数据库,实现从注重舆情监测转向注重舆情预警、从单向度的危机应对转向各个领域的综合信息服务。在此基础上构建社
20、会舆情监测指标体系、设计社会舆情监测模式,需要科学规划监测对象、定向采集和元搜索采集,需要兼顾深度和广度。二是要以大数据为基础预测未来,以科学构建社会舆情分析模式、进行社会舆情信息分析为中介,将社会舆情监测指标运用到各类舆情事件之中,对各类舆情事件的严重性程度进行评估与评级。三是要将各类社会舆情事件的评估结果进行运用,根据评估结果进行社会舆情预警。社会舆情预警是来自于海量的舆情数据分析的结果,也就是将不同的舆情数据流、信息流整合到一个大型的社会舆情数据库之后,经过评估指标和舆情信息分析,就能够清晰地评判每个(类)社会舆情的等级或级别,从而启动不同的预警预案。第五,已有关于社会舆情治理中的多部门
21、协同决策模型研究,主要以管理科学、运筹学、控制论和行为科学为基础,以计算机技术、仿真技术、信息技术、大数据技术和云计算为手段,针对半结构化的决策问题进行了研究978-94,进一步推动了数据挖掘技术、决策支持技术的成熟和普遍应用。已有研究从技术角度关于大数据与决策支持的技术性研究成果比较丰富,研究内容也主要集中在如何采用数据挖掘的方法提供决策支持10。因此,已有研究从一般原理上为如何运用数据挖掘技术、决策支持技术进行科学决策提供了有力的理论指导;同时,已有研究也开始涉及将数据挖掘技术、决策支持技术应用到社会舆情治理决策之中的成果。已有研究为大数据环境下社会舆情治理决策研究、拓展决策领域、构建多部
22、门和多主体协同决策模型奠定了很好的基础。因此,已有关于社会舆情治理中的多部门协同决策模型研究还需要在已有研究的基础上进一步深化。因为,大数据环境下社会舆情治理中的多部门协同决策模型研究,就是要根据所获取的海量社会舆情数据,在社会舆情监测、社会舆情分析、社会舆情预警的作用下,根据政治、经济、技术、社会、心理和政策环境的变化情况,根据社会舆情治理过程中不同主体的角色,根据社会舆情在生成、发展、演化、衰退的不同发展阶段,形成跨主体协同的、动态的决策方案,以实现社会舆情治理体系和治理能力现代化。这种深化研究具体表现为:一是社会舆情事件的应对过程需要多个主体制订和实施统一的社会舆情事件应对方案,共同采取
23、行动和措施对社会舆情事件进行干预与抑制,社会舆情事件应对和治理过程是多个主体协同管控过程,智能化、自动化的社会舆情治理决策模型正是多部门、多主体协同决策模型;二是采用 HTN 规划技术辅助不同部门、不同主体根据社会舆情生成、发展、演化和衰退的复杂态势设计生成应对行动方案,深化社会舆情治理、导控行动方案制定方法的研究,深化社会舆情的决策支持研究;三是进一步完善社会舆情领域知识建模方法,通过数据之间的关联分析来识别社会舆情事件应对过程中各级政府舆情管控部门之间完成的工作任务之间的依赖关系,并有针对性地设计协调规则,力图降低社会舆情事件应对过程中的冲突,最大限度地提升各参与部门、主体之间的行动协调性
24、,将数据仓库、联机分析处理、数据挖掘、模型库、数据库、知识库结合起来形成综合的、智能化的决策系统,并提供一整套“社会舆情处置与导控”的决策方案,包括社会舆情处置预案、媒体渠道、社会舆情处置与导控工具等。第六,已有关于大数据环境营造和社会舆情治理能力提升的研究,关于大数据应用到社会舆情治理决策研究还处于初级阶段,相关研究成果还较少,如何有效营造大数据环境、如何以大数据为基础提高舆情治理能力的研究,形成政治学、新闻学与传播学、管理学、计算机科学的交叉渗透,形成多学科交叉渗透的综合研究成果,当前还比较缺乏。应用好大数据技术推进社会舆情治理体系和治理能力现代化,这是大数据环境下社会舆情治理决策研究与应
25、用的落脚点。在营造大数据环境方面,需要深化对法律制度环境、政策环境、技术环境、标准规范、大数据管理体制机制环境、人才环境等方面的研究,既要促进大数据技术的提升和在社会舆情治理决策中的深度应用,更要提高社会舆情信息的共享度和开发利用水平11。在推进社会舆情治理体系和治理能力现代化、提升社会舆情治理能力方面,需要深化对社会舆情治理主体多元化、社会舆情治理手段和方法现代化、社会舆情治理方式的科学化、社会舆情治理行为过程的程序化和制度化和提高社会舆情治理结果的有效性等方面的研究923。总之,已有研究,一方面表现出明显的开拓性,为大数据在社会舆情治理决策中的应用研究奠定了坚实的基础;另一方面,由于受认识
26、发展阶段的局限,受政治、经济、技术、社会、心理和政策等一系列变量因素的影响,已有研究还具有进一步拓展和丰富的空间,表现出分散研究、学科之间分割和孤立研究的局限。特别是在实现推进国家治理体系和治理能力现代化的目标框架下,健全社会舆情汇集和分析机制、改进社会舆情监测预警和导控工作、营造健康的社会舆论氛围,“防患于未然”,是大数据环境下推进国家治理体系和治理能力现代化的必然要求。这样,如何应用大数据准确把握社会舆情生成、发展、演化和衰退的内在机理,如何应用大数据技术和云计算技术构建社会舆情监测体系、预警体系和智能化的社会舆情治理决策模型进行社会舆情治理与应对处置的科学决策,就成为了当前我国社会治理面
27、临的一个突出问题。围绕这个核心问题,还将衍生和解决以下具体问题:第一,大数据环境是如何作用于社会舆情生成、发展、演化、衰退的内在机理?大数据环境下社会舆情生成与传播有哪些基本规律?如何进行社会舆情信息的科学分类?第二,在国家治理体系框架下,政府部门介入社会舆情治理的公权力边界和行为准则如何界定?大数据环境下社会舆情治理组织间分工协作机制如何形成?社会舆情治理格局及其运行机制如何建立?社会舆情演化规律和应对规则对于社会舆情治理组织的结构变化与功能变迁有何影响?第三,在社会舆情分类和褒贬分析的基础上,如何建立健全适应不同领域、不同行业舆情的监测和预警体系?如何根据社会舆情监测和预警体系,在获取当前
28、舆情态势和发展趋势信息的情况下就能自动发出社会舆情预警信号,并辅助制定预警方案?第四,如何识别社会舆情事件应对过程中各部门之间以及所完成的工作任务之间的依赖关系,并有针对性地设计协调规则,降低舆情事件应对过程中的冲突,最大限度地提升各参与部门、参与主体之间的行动协调?如何构建社会舆情治理中多部门、多主体协同决策模型?第五,如何营造良好的大数据环境?如何以大数据为基础提升社会舆情治理能力、推进社会舆情治理体系和治理能力现代化?二、大数据在社会舆情监测中的具体应用传统媒体和互联网是社会舆情的载体,每天都产生着海量舆情信息,反映了社会公众的观点和态度,并可能引发社会公众的群体行为,甚至诱发社会舆情事
29、件。社会舆情及其诱发的社会舆情事件对党委政府的形象和社会心理往往造成严重影响。如何提升社会舆情的识别能力,预测社会舆情可能引发的社会舆情事件,并及时采取预警行动包括把握舆情动态、分析社会舆情数据蕴含的信息、根据社会舆情监测与分析结果进行预警研判、采取预警与导控措施、最大限度减少社会舆情引发的社会舆情事件、营造健康和良好的舆论环境,是社会治理工作的重要内容。然而,我国社会舆情治理工作中存在着以下问题:一是社会舆情信息源整合不够,信息采集质量不高。对于舆情预警系统来说,以微博、社交网络、即时通信为载体的“微内容”是主要的舆情信息来源,现有社会舆情监测所采集的信息源明显不够,缺乏对各类信息源的整合,
30、不能实现全网采集,制约了社会舆情引发社会舆情事件的预警研判效果。另外,采集算法较为简单,信息采集呈现重复性、非相关性和表层化,导致采集的信息多为重复的、非相关的、浅层的,甚至是虚假的信息。二是舆情分析过程缺乏智能性,信息分析深度不够。现有社会舆情监测分析系统在信息处理方面,要么是将采集的信息经过简单整理后交给工作人员进行人工定性分析和经验判断,要么是借助舆情字典和统计学进行分析判断,导致获取的信息多为统计层面的结构化数据,非结构化数据缺乏,没有深入挖掘数据背后隐含的深层知识,更无法涉及舆情信息的语义层次,系统智能化程度不高。三是社会舆情预警研判能力偏弱,无法满足社会舆情预警工作的要求。特别是社
31、会舆情监测分析系统在进行预警时多为自动舆情分析报告和人工经验相结合的方式,没有设计科学系统的预警研判指标体系,从而导致提供的预警研判结果具有不可预料性和不科学性,无法保证社会舆情诱发社会舆情事件预警管理的效果,严重影响决策的有效性12。这些问题的存在严重影响了社会舆情治理决策水平与能力的提升。面对上述问题,要提高社会舆情监测分析的科学性、准确性,就必须要在第一时间掌握到“与我相关”的角度事件,就必须要能够准确采集到“我最需要”的社会舆情信息,就必须要不留死角地全网监控到各种舆情信息、随时知道网上在干什么、防止有害信息泛滥传播和舆情失控、追溯社会舆情重点内容的传播途径、研判社会舆情信息的未来走势
32、、全面掌握社情民意,并且为党委政府报送社会舆情简报和专报等。这就为大数据在社会舆情监测与预警体系中的应用提供了广泛需求,见表 1。表 1 大数据在社会舆情监测与预警体系中的应用需求 下载原表 因此,总的来说,大数据在社会舆情监测与预警中的应用主要表现为: 一是以社会舆情信息科学分类、充分获取社会舆情信息为基础,运用大数据技术解决社会舆情信息采集困难、获取信息不及时、获取的信息不精准、信息应用不便利等问题;实现社会舆情内在机理的研究,从舆情信息采集转向数据加工、数据挖掘、数据处理和可视化,实现数据库支持从简单的、有限的数据库转向非结构化的大数据库,实现从注重舆情监测转向注重舆情预警、从单向度的危
33、机应对转向各个领域的综合信息服务。在此基础上构建社会舆情监测指标体系、设计社会舆情监测模式、科学规划监测对象、定向采集和元搜索采集有机结合、深度和广度兼顾;二是以大数据为基础预测未来,以科学构建社会舆情动态分析模式,以社会舆情信息分析为中介将社会舆情监测指标运用到各类舆情事件之中,对各类舆情事件的严重性程度进行评估与评级;三是将各类社会舆情事件的评估结果进行运用,根据评估结果进行社会舆情预警。因此,监测预警就是基于海量舆情数据分析的结果,也就是将不同的舆情数据流、信息流整合到一个大型的社会舆情数据库之后,经过评估指标和舆情信息分析,就能够清晰地评判每个(类)社会舆情的等级或级别,从而启动不同的
34、预警预案和采取不同的导控措施。上述大数据在社会舆情监测与预警中的应用,见图 1。图 1 大数据在社会舆情监测与预警中的应用内容 下载原图具体来说,大数据在社会舆情监测与预警中的应用主要表现为:第一,以大数据为支撑实现了社会舆情监测信息的有效采集。影响社会舆情监测及其风险等级评估准确性、客观性的一个重要因素就是舆情信息的采集与获取,采集全面、真实、准确的舆情信息,是消除信息不对称和确保监测和评估结果准确、客观的关键。通过大数据这种创新方式来分析过去、把握现在、预测未来,有利于降低舆情监测、评估和预警过程中舆情信息的采集成本,有利于确保舆情信息的真实性、准确性。以大数据为支撑实现社会舆情监测信息的
35、自动化采集、自动化处理,在具体含义上就是要通过社会舆情大数据库和数据交换平台实现社会舆情监测、预警系统与各类舆情数据终端的无缝链接,将识别为社会舆情的所有数据资料自动交换到社会舆情监测与预警系统,实现舆情信息生成与舆情监测同步,实现大数据技术对自动化监测预警的支撑。大数据不仅可以做到自动化采集舆情信息,而且还能够自动化处理信息。通过归类与整理信息,对不够或没有采集到的舆情信息,进行补充采集;对存有疑问的舆情信息,进行跟踪采集或鉴定与测验。这是一个去伪存真、去粗取精的加工制作过程。目的是要使采集到的、反映各个行业、各个领域的社会舆情信息全面、真实、客观和准确。政府及部门和所属公务人员、第三方机构
36、、企业、其他社会组织和公民,根据权限大小调用社会舆情监测与预警系统提供的舆情信息、评估结果和咨询服务,将依从 HL7 CDA 模板设计的社会舆情处置档案文档(XML 格式),上传至社会舆情监测与预警系统。采集的 CDA 文档类型包括各个行业、各个领域的舆情信息和政府及部门和其他组织进行社会舆情治理决策、采取导控措施等不同类型的数据(文档)。文档上传后,通过 XML 解析,提取关键数据元素(METADATA),调用文档存储服务将关键数据元素和 XML 文档存储在 hbase 数据库中,形成社会舆情处置档案文档库,见图 2。第二,应用于社会舆情监测系统。大数据应用于舆情监测系统,主要是整合大数据信
37、息采集技术、信息智能处理技术和云计算技术,通过对互联网海量信息自动抓取、自动分类聚类、主题检测、专题聚焦,倾向性研判,实现用户的社会舆情监测和新闻专题追踪等信息需求,形成简报、报告、图表等分析结果,为党委政府全面掌握舆情动态、做出正确舆论引导,提供分析依据。大数据在社会舆情监测系统中的应用,见图 3。图 2 社会舆情监测与预警信息系统数据处理流程 下载原图图 3 大数据在社会舆情监测系统中的应用 下载原图第三,分析社会舆情信息。分析社会舆情信息是采取预警行动的依据,应用大数据分析社会舆情信息是将社会舆情监测与预警管理中起关键作用的话题、事件、个体、群体等要素作为分析对象,进行话题发现与分析、社
38、会舆情事件识别、公民个体行为分析和群体行为分析。三、大数据在社会舆情治理中多部门协同决策模型构建的应用社会舆情往往对社会群体行为具有重要影响,容易引起各类社会群体性事件等社会舆情事件。因此,重视负面舆情对社会秩序和公众心理产生的消极影响,采取有效的社会舆情导控措施和干预手段,积极引导舆情,及时借助媒体通过文字、图片等向公众传递正面的疏导信息,引导公众通过正确的参与沟通渠道参与社会治理,营造健康和良好的舆论环境,提升社会舆情治理的效果,就成为非常必要。在实践中,社会舆情治理部门,例如应急办、宣传部门、公安部门等通过制订与实施统一的社会舆情导控方案、强化多个部门在社会舆情及其诱发的社会舆情事件应对
39、过程中的协调性、提高社会舆情导控与应对的管理效果,从而降低社会舆情及其诱发的社会舆情事件造成的影响和损失。因此,社会舆情事件应对过程需要多个部门制订和实施统一的社会舆情事件应对方案,共同采取行动和措施对社会舆情事件进行干预与抑制。社会舆情治理过程中上级管理部门通过制订统一的社会舆情导控方案,并下达给下级导控部门执行,从而实现社会舆情治理中多部门的纵向协调。另外,社会舆情治理过程中,平等的导控部门之间通过平等的协商,协调不同单位之间的舆情导控行动,实现部门之间的横向协调。大数据环境下社会舆情治理中多部门协同过程,见图 4。然而,社会舆情及其诱发的社会舆情事件应对过程所构成的管理情景对社会舆情治理
40、部门开展舆情导控与应对工作,制订与执行社会舆情导控方案提出了特殊约束条件13。首先,社会舆情态势往往较为复杂,舆情治理人员需要参考社会舆情事件应急预案和法规,以及成功的社会舆情应对案例,制订在当前舆情态势条件下实现管理目标的社会舆情导控方案,实现更大的社会舆情治理工作绩效。其次,社会舆情应对过程中,舆情态势动态变化、舆情治理目标动态识别和舆情导控行动执行效果不确定性等因素可能导致当前应对方案不可行,或无法完成识别的舆情治理目标。社会舆情治理人员往往需要对现有导控方案进行调整和修复,及时对以上动态因素和不确定性因素作出及时响应。最后,社会舆情导控与应对工作涉及的多个政府单位之间往往难以形成稳定和
41、全面的信息共享,无法实现快速联动,缺乏有效整合和统一协调,从而限制了舆情导控整体能力的提升。为了能够有效解决上述问题,应用大数据来实现社会舆情治理中多部门相互合作与协同决策,成为必要与可能。社会舆情事件治理工作中面临的决策问题的解决过程往往涉及多部门、多层次的决策行为,是高级复杂的智能决策活动,要求社会舆情导控部门面对复杂与动态的社会舆情态势,根据社会舆情应急预案和管理案例,制订社会舆情导控与应对方案,并通过相互协作,共同应对社会舆情。因此,大数据在社会舆情治理中多部门协同决策模型构建的应用,主要表现为:第一,识别社会舆情治理过程中社会舆情舆情导控部门之间完成的工作任务之间的依赖关系,通过设计上下级管理部门之间的纵向协调方法与平级部门之间的横向协调方法,力图促进社会舆情治理过程中多部门导控与应对工作的协调性,提高社会舆情治理决策的效果,从而为各级党委政府社会舆情治理部门设计社会舆情导控与应对方案提供智能化的决
