1、变革中的大数据知识服务:面向大数据的信息移动推荐服务新模式 张兴旺 李晨晖 麦范金 桂林理工大学 广西矿冶与环境科学实验中心 摘 要： 文章将研究重心放在大数据与信息移动推荐服务的有机融合上, 总结分析了面向大数据的信息移动推荐服务特有的五个典型特征, 在此基础上, 建立了面向大数据的信息移动推荐服务模型, 提出了相应的体系结构, 建立了技术体系, 讨论了实施该体系所需攻克的关键技术, 最后, 简要总结了下一步发展及应用前景。关键词： 大数据; 大数据知识服务; 信息移动推荐; 云图书馆; 移动情境感知; 作者简介：张兴旺 (1982-) , 男, 桂林理工大学图书馆馆员;作者简介：李晨晖 (
2、1984-) , 女, 桂林理工大学现代教育技术中心讲师;作者简介：麦范金 (1968-) , 男, 桂林理工大学机械与控制工程学院教授。收稿日期：2013-06-15基金：2009 年广西自然科学基金“基于中文自然语言理解的智能检索技术研究”(项目编号:0991254) Evolution in Knowledge Services of Big Data: Information Mobile Recommendation Service Model for Big DataAbstract： This paper focus on the organic integration of l
3、arge data and information mobile recommendation, summarizes and analyzes the five typical characteristics of large data-oriented mobile recommendation service.On this basis, this paper establishes information moving recommendation service model for big data, proposes relevant architecture and techno
4、logy system.Then, discusses the key technologies required for implementation of the system.Finally, a brief summary of the next stage of development and application is prospected.Keyword： big data; big data knowledge service; information mobile recommendation; cloud library; mobile context-aware; Re
5、ceived： 2013-06-15目前, 大数据已经渗透到所有行业和领域。自 2008 年以来, 麦肯锡、IDC、Gartner 等战略咨询公司, The New York Times、The Wall Street Journal、Forbes等商业报刊, Nature、Science等科研杂志, 软件学报、中国计算机学会通讯、计算机学报等国内学术期刊, 都安排了大量版面对大数据进行介绍。大数据基础理论、学术环境和应用研究的火热给信息移动推荐领域的研究带来的新的思路、原则和方法, 进一步将我们带入到了大数据信息化时代, 从而会产生两个突出矛盾, 一是可获取的信息量的爆炸性增长与用户选择信息
6、能力的局限性之间的矛盾, 二是同时共现的信息量的极度丰富和用户感兴趣信息局限性之间的矛盾1。这两个矛盾的核心科学问题, 就是如何从大数据中挖掘出用户感兴趣的信息, 并按照用户所喜欢的方式推荐给相应用户。基于此思想发展起来的信息移动推荐是融合当前各种先进技术的信息服务新模式, 利用移动网络环境 (移动互联网、无线传感网等) 在信息推荐方面的优势并克服其带来的不利条件。孟祥武2、刘建国3、许海玲4、王立才5等已对移动推荐系统、个性化推荐系统、互联网推荐系统、上下文感知推荐系统的概念及研究进展做出了充分论述, 指出信息移动推荐服务正成为大数据时代的重要研究课题, 面向大数据的信息移动推荐服务模式是一
7、种面向主动服务、提高信息利用率、解决“移动信息过剩”问题等的新模式和和新技术手段。1 面向大数据的信息移动推荐服务的典型特征面向大数据的信息移动推荐服务模型作为大数据知识服务体系的一个子集, 除了拥有大数据知识服务的共性特征之外, 在数字化、网络化、物联化、虚拟化、绿色化、智慧化及个性化 (共性特征) 的基础上, 其更为突出的典型特征可以概括为:(1) 面向移动情境感知的推荐。用户行为模式和知识服务需求正随着智能手机、PDA、平板电脑等移动智能终端及移动信息环境的完善与普及发生着革命性的变革, 为个性化推荐提供了丰富的情境信息。与传统的情境感知技术相比, 面向大数据的移动情境感知更为强调 RF
8、ID 射频数据、传感器数据、社交网络交互数据及移动互联网数据等几个大数据主要来源的综合描述, 而移动情境感知范围不仅包括大数据环境中的时间、地点、用户行为等基本信息, 还包括各种类型的传感信息及物联信息等, 通过综合分析移动情境感知的内涵、特征及运行机理, 可以尽可能的还原大数据环境下用户行为模式和大数据网络环境的实时情境, 借此分析、预测其知识服务需求, 从而更好为信息移动推荐提供更全面、更可靠的情境模拟。(2) 面向大数据移动用户的物理世界真实反应的推荐。大数据环境下移动用户所拥有的一些自然属性与传统网络环境下的信息用户颇为不同:一是大数据移动环境下所有用户信息都是真实的 (如移动用户都是
9、采用实名制) ;二是大数据移动环境中的各种复杂结构化、半结构化和非结构化的大数据, 直接反映的用户之间的移动社交网络关系, 用户特征的共性关系、用户行为的相互关系、知识服务的因果关系等的整体特征隐藏在数据网络中;三是大数据移动环境中的用户的所有行为 (如位置信息、行为信息、身份信息及行为过程等) 都是用户在物理世界的社交活动中的真实反应。(3) 面向大数据移动用户行为预测的推荐。有研究表明, 用户在移动网络中的行为会被许多微妙因素所影响6, 而通过用户在大数据移动环境中的行为轨迹及其在网络中社交关系的动态变化, 可以对用户行为、用户情感、用户知识服务需求等进行分析、建模、预测。从而通过对用户在
10、大数据移动环境的足迹、点击历史、浏览历史、信息反馈, 直接真实的展示用户的性格、偏好、意愿等相关数据进行分析之后, 帮助信息服务机构感知知识服务市场、感知用户需求和能力、感知未来发展形势等, 以便信息服务机构对价值评估、服务能力和服务水平等做出更科学的决策, 进而推荐更为合适的信息。(4) 面向多维大数据交叉利用的推荐。在大数据移动环境中, 数据与数据之间的关系大体可分为三类:一是依赖关系, 如用户的个人属性信息 (如心情、位置、身份、电话、社交等数据) 与用户个体之间, 如果用户的个人属性信息与用户脱离, 那么这些数据也就失去了真实意义;二是协作关系, 如用户信息与交通信息 (如航空数据、铁
11、路数据、公路数据等) 之间的关系, 一旦用户准备出行, 就必然会与交通信息之间产生交互, 从而生成新的协作数据;三是交叉关系, 如主要是针对社交网络 (包括真实社交与虚拟社交) , 用户在大数据移动环境中, 不可能只单独的使用某一种服务 (如商业服务、信息服务等) , 他可能既上人人网、新浪微博与朋友们交流, 上互联网看新闻, 又在淘宝、京东、国美在线上购物, 同时还与朋友们打电话、发短信, 或者在网上搜索学术论文等等, 而用户在这些过程中都会产生不同类型的数据, 数据因为用户、用户行为或用户所处环境而产生交集, 形成了多维数据交叉的复杂社交网络。(5) 面向社会化关系迁移的推荐。Sinha
12、等曾于 2001 年提出, 用户喜欢来自于周围朋友的推荐多过于信息推荐系统推荐的信息7, 而 Salganik 等也在 2006年间接地验证了这一观点, 他们认为在信息推荐体系中, 通过对用户历史行为进行计算得出的信息服务需求不如社会影响力的重要性8。而面向大数据的信息移动推荐服务体系则是两者的有效结合, 其信息移动推荐的结果可能是来自于类似于口碑相传的社会影响力、或通过对用户在大数据移动环境中的历史行为轨迹的分析, 得出的信息移动推荐结果。这一点在传统的信息推荐体系是难以做到的。3 面向大数据的信息移动推荐服务平台体系架构3.1 信息移动推荐服务模型本文给出了一个面向多用户、基于主动服务、能
13、商业、半商业或非商业运行的, 面向大数据的信息移动推荐服务模型 (见图 1) 。与传统的基于 Web 的信息推荐服务相比, 面向大数据的信息移动推荐服务模型具有多个技术特征: (1) 信息移动感知、获取、传输、存储、分析及决策的实时连续性; (2) 数据的真实性、时空性、不同类型数据间的关联性; (3) 信息移动推荐服务的即时性、即地性。面向大数据的信息移动推荐模型在整个服务平台体系架构中显得颇为重要, 它主要用以解决以下三个关键问题:(1) 信息移动推荐多维交互数据的感知、获取、传输、存储、分析及预测等服务的语义获取。通过大数据环境中部署的大规模、多类型、智慧型的传感网络实时感知物理世界中用
14、户、信息、及其关系网络的原始活动、半活动及非活动数据, 提取信息移动推荐服务过程中, 多维交互数据的感知、获取、传输、存储、分析及预测等服务模型, 建立相关的语义表示和关联模型, 生成具有时空特征的抽象用户群体信息移动推荐一体化网络9。图 1 面向大数据的信息移动推荐服务模型 下载原图(2) 信息移动推荐多维交互数据的感知、获取、传输、存储、分析及预测等服务模式发现、模型构建及部署。通过信息移动推荐多维交互数据的时空特征, 对用户、信息、及其关系网络的原始活动、半活动及非活动数据进行深度挖掘、分析, 发现大数据的交互规律、模式及时空特性、时空规律, 从而有效构建科学、合理地信息移动推荐服务模型
15、, 并进行针对性部署。(3) 信息移动推荐多维交互数据的感知、获取、传输、存储、分析及预测等服务在特定移动情境下的演化。在满足用户信息移动推荐的抽象模型和用户服务需求的基本假设等前提下, 动态演绎信息移动推荐多维交互数据的螺旋式进化10过程, 旨在感知、获取、传输、存储、分析及预测大数据环境中的用户、信息、及其关系网络在特定移动情境下的演化趋势11, 使信息移动推荐主体、客体及主客体间多维交互网络能够以预期模式进行应用及推广。3.2 面向大数据的信息移动推荐服务平台体系架构面向大数据的信息移动推荐服务平台为层次化体系架构 (见图 2) , 包括大数据资源层、中间件层、移动推荐核心服务层、推荐可
16、视化交互层和移动推荐应用层。面向大数据的信息移动推荐服务平台则由中间件层、移动推荐核心服务层和推荐可视化交互层组成。其中:(1) 大数据资源层涵盖了数据资源 (结构化、非结构化及半结构化数据等) 、管理资源、移动推荐服务设计资源、仿真资源、集成资源、试验资源、计算资源、存储资源、网络资源及其他服务资源等, 主要提供的是大数据知识服务全生命周期管理过程中所涉及到的各种类型的大数据, 在经过处理后, 成为面向大数据的信息移动推荐服务资源。(2) 中间件层支持面向各类大数据的信息移动推荐服务资源的虚拟化、服务化、协作化等, 从而对信息移动推荐多维交互大数据的感知、获取、传输、存储、分析及预测等服务过
17、程提供有效支持。(3) 移动推荐核心服务层基于中间件层所提供的接口, 提供信息移动推荐服务体系最为重要的各种类型的大数据知识服务功能, 包括移动推荐服务部署、注册、搜索、匹配、组合、优化、调度、运行、服务过程的负载均衡机制、容错处理、监控、评估、交易及协作等。(4) 推荐可视化交互层为信息移动推荐服务使用者、运营者、开发者、及提供者等提供一种支持异构协同大数据来源的高效能、可视化支撑门户平台, 以支持这三类用户的协同交互及使用。通过 (移动或非移动) Web 可视化入口, 均可为用户提供一系列信息移动推荐服务资源和能力。(5) 移动推荐应用层提供支持单主体完成单领域信息移动推荐、多主体协同完成
18、单领域信息移动推荐、单主体完成跨领域信息移动推荐、多主体协同完成跨领域信息移动推荐、多主体协同完成跨领域跨终端信息移动推荐等五种服务模式。参与交互的移动推荐应用层除了支持传统的移动终端、PC 终端、专业终端及门户等之外, 物联感知终端、生物体验终端及其他隐形终端也是未来大数据处理需求的新兴技术体系。图 2 面向大数据的信息移动推荐服务平台体系架构图 下载原图4 面向大数据的信息移动推荐服务的关键技术面向大数据的信息移动推荐服务模型所涉及的关键技术大致可以分为:(1) 模式、体系架构、各类标准及规范。主要是从系统开发的角度出发, 研究面向大数据的信息移动推荐系统的结构、内涵、运行机理、组织、运行
19、及服务模式等方面的技术, 同时研究支持实施面向大数据的信息移动推荐服务的相关标准和规范。包括: (1) 支持多主体的、跨领域的、面向大数据的信息移动推荐体系结构; (2) 大数据环境下信息移动推荐服务的交易、协作、监测、评估、互操作模式; (3) 面向大数据的信息移动推荐服务的相关标准、规范、协议、方法等, 如大数据采集、分类、组织、分析、处理规范、移动推荐核心服务层交互及互操作接口标准规范、感知与接入规范、描述规范、信息移动推荐服务许可、授权标准规范及计费标准等; (4) 面向大数据的信息移动推荐服务组合建模、描述、一致性检查及可执行模式转化等; (5) 面向大数据的信息移动推荐服务全生命周
20、期管理模式。(2) 大数据互感、多源信息主动感知、增值及虚拟接入技术。大数据互感、多源信息主动感知等是实现面向大数据的信息移动推荐服务执行过程实时、离线信息主动推荐的前提和基础, 其目标是针对信息移动推荐过程涉及到的多源信息的采集, 在移动推荐过程中引入多传感技术, 为实现不同信息移动推荐服务资源、能力的多源信息的智能互感提供技术支持, 从而实现 RFID 射频数据、传感器数据、社交网络交互数据、移动互联数据等主要大数据来源的数据信息的动态有效获取、分析与预处理。包括: (1) 大数据动态获取、组织、分析、预处理、处理等技术; (2) 面向大数据的信息移动推荐服务资源、能力的虚拟化接入技术;
21、(3) 面向大数据的信息移动推荐服务过程中的多源信息的主动感知与增值技术, 其中主动感知技术主要包括多层次服务事件数据模型与描述、服务过程主动感知模式、建模过程、多源移动推荐信息增值技术等部分, 而多源实时、离线信息的增值主要基于规则库、组合运算、数据挖掘等方法实现, 且面向多主体、跨领域的用户, 提供基于实时、离线信息处理后的增值推荐信息; (4) 支持参与面向大数据的信息移动推荐服务的底层移动、非移动终端物理设备虚拟化接入、软硬件互接入技术等; (5) 信息移动服务定义封装、发布、虚拟化技术及相关根据研发等技术; (6) 信息移动推荐服务请求接入和访问服务平台技术等。(3) 移动用户特征提
22、取、相关信息检索及推荐信息排序技术。移动用户特征提取、相关信息检索及推荐信息排序技术是面向大数据的信息移动推荐服务模型的三个核心模块。移动用户特征提取模块通过获取移动用户的历史行为以及其他相关信息 (年龄、性别、兴趣爱好、浏览过的信息、其他行为等) 生成用户特征, 以便推荐符合该用户兴趣的信息;相关信息检索模块在接受移动用户特征的基础上, 快速找到该移动用户可能感兴趣的候选信息, 从而生成推荐信息集合;推荐信息排序模块则采用机器学习算法, 通过优化某一移动推荐指标 (比如信息点击率、评分等) , 生成信息移动推荐服务模型, 计算得出该移动用户对该推荐信息集合的认可度, 并分别计算推荐信息集合中
23、所有信息的认可度, 然后按照某种移动推荐指标进行排序。包括: (1) 移动情境感知中的用户行为轨迹、行为模式挖掘、用户行为、移动情境、用户情感、社交关系预测技术; (2) 面向大数据的信息移动检索、预处理及索引构建技术; (3) 移动用户与信息的相关度计算、信息移动推荐服务分类技术及移动用户信息服务需求智能化挖掘、分析及匹配等技术; (4) 面向大数据的信息移动推荐服务的融合、管理、运行、优化及反馈等技术; (5) 移动情境感知环境下多维交互大数据的时空交互语义获取、模式发现及在特定情境下的服务转化技术。(4) 信息移动推荐过程服务质量信息传感、监控、可信与安全推荐技术。主要研究和支持面向大数
24、据的信息移动推荐服务的提供者、运营者、使用者、开发者等对信息移动推荐服务进行接入、发布、维护、组织与聚合、管理与调度、监测与评估等操作, 包括: (1) 信息移动推荐服务提供端软硬件资源和服务的传感、接入管理, 如统一接口定义、注册与管理、认证管理、授权机制、访问控制等技术; (2) 信息移动推荐的发布、维护、组织与聚合、管理与调度技术; (3) 信息移动推荐服务的构建与部署、分解等技术; (4) 移动情境感知终端的嵌入式可信硬件制造、移动推荐智能终端的可信接入、发布技术、可信移动网络构建、运营等技术; (5) 信息移动推荐系统和服务的可靠性技术等。(5) 信息移动给推荐服务的效用评价技术。效
25、用评价机制对于检验面向大数据的信息移动推荐服务模型的性能和发现其存在的问题来说十分重要, 也是信息移动推荐服务体系不可或缺的技术之一。其主要研究信息移动推荐服务结果、服务模式综合评价及大数据感知、获取、组织、分析及预测等综合评价技术, 而数据集和效用评价指标是两个重要的研究要素。获取与面向大数据的信息移动推荐服务相关的数据集, 要比获取传统信息推荐系统相关的数据集更为困难, 目前, 公开可用的面向大数据的信息移动推荐服务的数据集很少, 因此, 如何获取真实、可靠、可用的数据集也是亟待解决的关键技术之一。而在确立数据集之后, 使用数据集对信息移动推荐服务体系的性能进行评价时, 评价指标则是首先需
26、要解决的关键问题, 如何制定科学、合理的评价指标同样应当成为待解决的关键技术之一。(6) 信息移动推荐服务的业务管理模式与技术。主要研究面向大数据的信息移动推荐服务模式下的业务与服务流程管理的相关技术, 包括: (1) 信息移动推荐服务漏乘的动态构造、运营、管理及执行技术; (2) 信息移动推荐服务的成本构成、核算、计价、交易策略以及相应的支付模式等技术; (3) 信息移动推荐服务体系中各方的信用管理机制及实现技术; (4) 物理世界与虚拟世界的普适化人机交互技术。图 3 所描述的技术体系, 给出了每个技术小类的含义与主要内容, 以及该服务模型所涉及到的部分关键技术。5 结语面向大数据的信息移
27、动推荐服务体系将成为我国信息服务领域充分挖掘大数据资源、提升大数据知识服务核心竞争力的重要支撑手段, 也是我国当前发展大数据知识服务领域需要探索的一个重要发展方向。由于面向大数据的信息移动推荐服务体系还是一个崭新的概念, 其相关理论与技术在国内才刚刚起步, 在国际上也属于前沿研究课题, 如 Netflix 推出的基于大数据分析的个性化推荐系统架构11、阿里云推出的基于内容和行为的智能云推荐体系12。为促进我国面向大数据的信息移动推荐服务体系的研究、开发、实施、应用与推广, 本文提出了一个面向多用户、基于主动服务的面向大数据的信息移动推荐服务模型, 建立了一种面向大数据的信息移动推荐服务的体系架
28、构。图 3 面向大数据的信息移动推荐服务技术体系 下载原图当前, 面向大数据的信息移动推荐服务体系是一个具有前瞻性和现实性的前沿课题, 它的实施与发展应该遵循“以需求为导向、以技术融合为重点、以协同创新为手段、以应用推广为目标”的指导思想。该服务体系的实现还需在应用需求牵引及相关技术的推动下, 开展大量的理论与实践的研究工作。参考文献1周涛, 陈恩红.推荐技术与互联网广告J.中国计算机学会通讯, 2013, 9 (3) :6-7. 2孟祥武, 胡勋, 王立才等.移动推荐系统及其应用研究J.软件学报, 2012, (8) :1-18. 3刘建国, 周涛, 汪秉宏.个性化推荐系统的研究进展J.自然
29、科学进展, 2009, 19 (1) :1-15. 4许海玲, 吴潇, 李晓东等.互联网推荐系统比较研究J.软件学报, 2009, 20 (2) :350-362. 5王立才, 孟祥武, 张玉洁.上下文感知推荐系统J.软件学报, 2012, 23 (1) :1-20. 6M.Granovetter.The strength of weak tiesJ.American Journal of Sociology, 1973, 78 (6) :1360-1380. 7R.Sinha, K.Swearingen.Comparing recommendations made by online sys
30、tems and friendsA.Proceedings of the DELOS-NSF workshop on personalization and rec ommender systems in digital librariesC.2001. 8M.J.Salganilk, P.S.Dodds, D.J.Watts.Experimental study of inequality and unpredictability in an artificial culturalmarketJ.Science, 2006, (311) :854-856. 9於志文, 周兴社, 郭斌.移动社交网络中的感知计算模型、平台与实践J.中国计算机学会通讯, 2012, 8 (5) :15-20. 10唐杰, 杨洋.移动社交网络中的用户行为预测模型J.中国计算机学会通讯, 2012, 8 (5) :21-25. 11Xavier Amatrain, Justin Basilico.Netflix 公布个性化和推荐系统架构EB/OL.2013-04-03.http:/www.cs tecture. 12云推荐EB/OL.2013-04-03.http:/
