分享
分享赚钱 收藏 举报 版权申诉 / 8

类型图书馆大数据可视化分析系统的设计与实现.doc

  • 上传人:无敌
  • 文档编号:147623
  • 上传时间:2018-03-22
  • 格式:DOC
  • 页数:8
  • 大小:66.50KB
  • 配套讲稿:

    如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。

    特殊限制:

    部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。

    关 键  词:
    图书馆大数据可视化分析系统的设计与实现.doc
    资源描述:

    1、图书馆大数据可视化分析系统的设计与实现 马晓亭 兰州商学院信息工程学院 摘 要: 随着大数据时代的到来,科学计算中的数据量呈现爆炸式增长,大数据可视化分析已成为科学计算中的重要研究内容。文章首先介绍了大数据的定义,阐述了大数据可视化分析对图书馆个性化服务的重要意义,然后设计了一种图书馆大数据可视化分析系统。该系统可以从日趋庞大的数据中快速提炼出有用的信息,能够有效分析图书馆数据变化情况,发现大数据背后隐藏的丰富信息,进而为读者创造更高的服务价值。关键词: 图书馆; 大数据时代; 可视化分析; The Design and Actualization of Large Data Visualiz

    2、ation Analysis System for LibraryMa Xiaoting Abstract: With the coming of big data era,the size of data is growing exponentially,and big data visualization analysis has becomes one of the important researches in scientific computing. Firstly,this paper introduces the definition of big data and the s

    3、ignificance of big data visualization analysis for personalized services of library,and then designs a large data visualization analysis system for library. The system can extract useful information from the increasingly large data quickly,effectively analyze the data changes of library,discover the

    4、 abundant information hidden in the big data,and create higher service value for users.Keyword: library big data era visualization analysis; 0 前言随着用户服务模式和读者阅读方式的变革,图书馆数据呈现海量 ( Volume) 激增、多类型 ( Variety) 、快速处理 ( Velocity) 和高价值 ( Value) 的大数据 4V 特征。全球畅销书社会消费网络营销的作者拉里韦伯认为: “所谓大数据包括企业信息化的用户交易数据,社会化媒体中用户的行

    5、为数据和关系数据,以及无线互联网中的地理位置数据”1。数据总量和结构复杂快速增长是当前图书馆大数据环境总的发展趋势,将会导致图书馆数据处理负载庞大、数据精确度与可理解性下降、大数据分析和决策过程枯燥、数据价值难以被发现和理解。因此,如何在复杂、动态和不确定的数据环境中,有效发现、挖掘、获取和理解大数据价值,已成为关系图书馆服务能力建设和 QOS ( Quality of Service,服务质量) 保证的重要问题。人类拥有视觉、听觉、嗅觉、触觉、味觉五种感觉,在借助“五感”所获得的信息中,大约有 80% 是来自视觉。同时,视觉信息也是人类最容易了解和最可信赖的信息2。因此,如何利用人类视觉认知

    6、的高通量特点,通过图形的形式表现图书馆大数据信息的内在规律,以及其传递、表达的过程,实现大数据资源的可视化表现、分析、推理和决策,是图书馆员辨析数据关系、整合数据价值、诠释数据意义和理解数据表现的重要手段和途径。1 图书馆大数据可视化分析的需求与挑战1. 1 数据可用性是保证图书馆大数据可视化分析质量的前提首先,图书馆大数据主要由未经过处理的原始数据、实时采集数据和第三方共享数据组成,数据具有价值密度分布不均衡、连续性差和准确度低的特点。图书馆在大数据可视化分析前,如果不对数据进行必要的分析、判断、选择、组合、关联、去重和计算,则会影响大数据可视化分析的科学性和有效性3。其次,伴随数据中心建设

    7、成本的大幅度下降,以及图书馆大数据计算、存储效率的提高,图书馆可以更加快速、经济地处理以非结构化和半结构化数据为主体的大数据集合。同时,历史大数据资源的可靠性、大数据预测模式的科学性和可视化分析误差的可控性,也是决定图书馆大数据可视化分析结果正确、可靠的重要因素。第三,图书馆员在使用旧有数据分析系统时形成的数据分析思维、模式和方法,以及在大数据可视化分析过程中坚持固有的数据分析流程和应用软件,将严重影响图书馆大数据可视化分析的质量和可用性。1. 2 可视化分析应涉及图书馆管理与读者服务全过程大数据时代,图书馆可视化分析应用应涉及图书馆管理与读者服务全过程,可为图书馆的管理层、IT 管理员、数据

    8、分析员和普通馆员,在管理决策、IT 系统运营、大数据分析与查询、读者个性化服务与质量统计、服务风险预警等方面,提供科学、精确、可靠和便捷的可视化数据支持。对读者服务需求变化、服务市场竞争环境、自身服务能力、服务系统运行状况宏观态势的正确展示、认知和理解,是管理层在图书馆宏观管理、服务策略制定和用户 QOS 保证科学决策的前提。因此,要求图书馆构建科学、高效的仿真环境,通过对海量复杂数据的多维度采集、组合、处理和分析,才能准确、直观、灵活和逼真地表现服务系统构建和运营管理的整体态势与特征。其次,图书馆通过对数据中心设备性能特征、配置参数、运营模式、服务负载和运营监控数据的实时采集和可视化分析、表

    9、现,将数据中心设备的运行效率、可靠性和状态数据以可视化表现形式提供给管理员。同时,结合读者阅读需求、服务市场变化等数据,对数据中心设备的未来服务负载、安全威胁和服务环境变化趋势进行准确预测和报警4。再次,图书馆通过对大数据资源的可视化分析与表现,可从数据噪声中提取出关系图书馆宏观决策、核心业务管理和读者 QOS 保障的关键数据,来保证大数据分析系统实现与决策者的可视化交流和辅助决策,最终提高图书馆决策结果的科学性、效率和可用性5。1. 3 大数据可视化分析过程具有较强的复杂性首先,大数据资源的采集涉及图书馆系统管理与运营监控数据、读者阅读行为数据、读者阅读关系数据、读者个体特征与位置信息数据、

    10、图书馆服务环境数据、阅读终端设备运行数据等,此类数据具有多维信息空间属性和海量样本元素特点,大幅度增加了大数据可视化分析与表现的复杂度。其次,大数据开发是图书馆借助数据中心的超级计算和数据存储能力,利用科学的算法和工具对大数据进行的定量推演和计算过程。随着读者服务模式和方法的变革,图书馆大数据的数据总量、数据类型和数据结构复杂度呈现快速激增趋势,对图书馆数据中心的系统性能、数据可视化分析系统的计算能力、可视化分析算法科学性与速度、大数据分析可视化表现有效性提出了更高要求。再次,为了提高大数据可视化分析的精确度和降低分析过程对 IT 系统资源的损耗,以及确保大数据可视化分析结果满足图书馆服务需求

    11、,图书馆应依据标准化流程和工具对数据进行一个预处理。此外,在数据分析过程中对多维数据进行切片、块、旋转等动作剖析,以确保从全方位、多角度和多层面观察、剖析数据。最后,图书馆大数据可视化分析结果的表现应坚持采用图表、图形和图像等多种形式,将分析、处理后的每一个数据项作为单个图元元素表示,并由海量的图元元素数据集构成数据图像。此外,图书馆对数据所有属性值表现应坚持多维的表示形式,以满足决策者对可视化分析结果进行全面、准确、快速和经济的价值获取需求6。1. 4 图书馆大数据分析应具备强大的可视化功能图书馆大数据分析的根本目的是摆脱复杂数据结构关系和数据噪声影响,将大数据所包含的价值完全、精确、直观和

    12、便捷地呈现给用户。首先,在图书馆大数据可视化分析表现中,如何将海量数据的多个指标、表现维度和相互作用关系,按照大数据分析的主题、内容进行分类和管理,是科学组织大数据资源结构和明确不同类型数据间关系应首先关注的问题。其次,图书馆应从不同层面、角度对大数据进行分析和判断,从全局角度出发对多个不同层面分析的结果进行实时修正和完善,并根据大数据应用有效性对可视化表现进行反馈控制,保证大数据分析结果的可视化表现完整、准确和实时动态调整7。第三,图书馆大数据可视化分析具有涉及面广、可视化表现多样和可视化图形关联紧密的特点。如何通过大数据可视化分析视图的交互联动,来发现、挖掘视图背后表现的知识与规律,以及完

    13、成大数据视图价值的二次开发与价值发现,是增强图书馆大数据可视化分析知识表现力的重要途径。第四,大数据可视化分析结果的输出与显示,应满足图书馆大数据可视化分析视图对分辨率、屏幕显示模式,以及图形跟踪、切换、交互、控制和显示加速的需求,才能支持大数据分析师完成对显示内容的修改、查询、缩放、切换和全方位展示。1. 5 可视化分析应具有较强的信息表现力图书馆大数据集具有海量、多类型、数据关系复杂和数据噪声大的特点。传统的饼图、直方图、散点图、柱状图等原始统计图表,只能呈现诸如读者分布状况、阅读满意度、服务负载变化和读者阅读行为等数据的基本信息,而不能全面、完整地表现和反映此类大数据分析结果的知识关联和

    14、数据价值。因此,图书馆首先要加强大数据采集、大数据分析、大数据处理、大数据存储与管理、大数据挖掘和价值发现的每一个环节管理,通过数据噪声过滤、数据模式标准化处理、数据的判断与选择等过程,在大数据可视化分析与展现前增强数据的价值密度、可用性和可控性,最终提高大数据可视化分析的效率和降低可视化分析、表现成本。其次,大数据分析师应根据图书馆大数据决策和知识表现需求,在全面、简单、灵活和互动的原则下,根据决策内容的重要性与复杂性,选择立体、二维、一维、动态或实时交互的表现形式8。第三,大数据分析师应选择恰当的可视化算法及技术实现手段,不能过于强调读者的视觉感受而降低可视化分析的表现力,也不能过于注重可

    15、视化分析算法效率而过度损耗系统资源。2 图书馆大数据可视化分析系统的构造与应用策略2. 1 图书馆大数据可视化分析系统的构造与工作流程2. 1. 1 图书馆大数据可视化分析系统的构造随着图书馆大数据资源总量与数据类型的快速递增,图书馆大数据库存储包括读者行为数据、空间和地理位置数据、服务器日志数据、文字、声音、图像、视频和超文本等大数据资源。如何有效利用可视化分析系统的海量数据快速处理、图形算法和可视化组件三维表现等技术,来表示复杂信息和实现海量数据的立体呈现,是图书馆有效挖掘大数据之间重要的关联关系,揭示数据中隐含的规律和发展趋势的关键。本文设计的图书馆大数据可视化分析系统架构如图 1 所示

    16、。图 1 图书馆大数据可视化分析系统架构 下载原图该系统主要由图书馆大数据资源库、数据中心网络与云基础设施资源层、大数据库分析与可视化表现层、大数据分析的可视化分类展示 4 部分内容组成9。图书馆大数据资源库负责对采集、处理后的大数据进行分类存储与管理,确保大数据库具有较高的数据存储、检索、查询和下载效率。数据中心网络与云基础设施,主要利用高效的网络与云计算、存储等设施资源,完成图书馆大数据的高速传输、快速计算和海量存储等任务。大数据库分析与可视化表现层将下一层处理的每一个数据项作为单个图元元素表示,并由海量图元元素集构成数据图像,通过多维分析、数据建模等技术将原本平面数据立体化,更逻辑、直观

    17、、生动和清晰地展示出大数据之间的深层关系。大数据可视化分析展示管理层位于系统的最高层,按照图书馆可视化分析需求分为市场竞争环境、读者需求、服务系统管理和 CRM ( Customer Relationship Management,客户关系管理) 等 4 个模块,为图书馆管理、服务生产力建设、读者个性化服务和 CRM 管理提供可视化决策支持。2. 1. 2 图书馆大数据可视化分析流程图图书馆大数据可视化分析流程如图 2 所示。图 2 图书馆大数据可视化分析流程 下载原图主要由大数据流捕获、大数据在非关系数据库中的存储、数据流的处理、可视化组件读取已处理的数据、可视化组件显示实时更新等 5 部分

    18、流程组成10。图书馆大数据流捕获应根据数据的种类、数量、时限和捕获精确度要求,选择安全、高效、经济和便捷的大数据流捕获系统。此外,基于大数据资源海量、多类型和复杂的特点,图书馆应从大数据可视化分析全面、高效和可扩展需求角度出发,选择非关系数据库中已捕获的数据。针对图书馆大数据海量、多类型、快速处理和实时性需求高的特点,应根据数据处理的安全性、经济性和时限需求,选择租赁公有云或者自建私有云的方式完成数据流的处理。同时,数据处理系统应内嵌度中心度算法、中间中心度算法、接近中心度算法、向量中心度算法、链接排名算法、最短路径算法和最小生成树算法等多种智能可视化算法,保证大数据可视化计算过程快速、精确,

    19、并可支持展现结果的钻取与切片等高级分析功能。分析系统的可视化组件应包括元素因子组件、多维迭代组件、模型深度组件和深度挖掘组件等,来实现对大数据价值与关系的全面、深度和可视化挖掘。可视化组件实时更新主要基于大数据的实时计算与处理结果,负责图书馆刷新间隔时间和大数据可视化显示更新。2. 2 图书馆大数据可视化分析应用策略2. 2. 1 对已采集的大数据进行预处理图书馆在大数据可视化分析中,大数据存在着数据总量海量、类型多样、结构复杂和价值密度低的特点,将导致可视化分析过程系统资源过度损耗、分析难度大、时间长和成本高等问题发生。因此,图书馆在大数据可视化分析前,首先应对已采集数据进行缺失数据补充、冗

    20、余数据清除、噪声过滤、数据关系描述、数据格式标准化转换、数据模式规范化等预处理,提高大数据的价值密度、可用性、可控性和经济性。其次,在大数据的采集、处理、计算、分析和可视化表现中,由于数据的不确定性和应用过程的不对称性,每一过程都可能会产生和累积数据误差。因此,图书馆应对每一阶段所产生误差、偏差和信息缺失的比例与程度进行控制,通过 ETL ( ExtractTransform-Load) 等工具完成数据从来源端至目的端的萃取、转置、加载等处理,确保最终大数据累积误差在可视化分析表示精度允许的范围内11。第三,大数据分析员在处理数据时,可能会因为不明确图书馆所有部门大数据的产生过程、数据流向和分

    21、析需求,而仅凭分析员自身的经验对数据进行分析和可视化表示。因此,当大数据集过于庞大和数据清洗难度大时,应通过随机选取和等比例调整样本数据规模的方法进行处理,同时保留样本数据中的无效与缺失数据,确保选取的样本数据真实、全面、准确和客观地反映出大数据价值和数据关系。2. 2. 2 构建科学、高效的大数据可视化分析系统构建科学、高效的大数据可视化分析系统,是图书馆挖掘大数据价值、发现数据关系和实现知识清晰表现的前提。图书馆大数据分析涉及大量的内部、外部和第三方共享数据,主要由服务系统运营与管理日志数据、CRM 关系数据、服务市场环境数据、读者社会关系数据、读者地理位置和迁移路线数据、读者阅读行为和阅

    22、读终端数据等组成,其数据海量、管理复杂、计算与分析难度大、可视化展示要求高的特点,对可视化分析系统提出了较高要求。首先,大数据可视化分析系统应依据系统功能需求和工作流程,在统一系统平台上设计具有数据清洗、数据计算、数据存储管理、大数据挖掘与分析、数据分析结果可视化展示的独立功能模块,才能确保大数据可视化分析系统统一平台、统一管理、统一认证和统一服务12。其次,可视化分析系统应具备处理多数据源数据、第三方开放数据集、社交网络数据、第三方脚本等半结构化和非结构化数据的能力,以及在大数据可视化分析全过程实现数据的流动、交互和融合。第三,大数据可视化分析系统应涉及图书馆服务系统建设、服务模式构建与 Q

    23、OS 保障、精准营销、客户分析与 CRM 管理、服务市场风险监测和业务流程管理等方面。同时,可视化分析系统应具备可视化图表显示效果定制、多类型图表多层面展示、多平台数据源支持、全景分析、使用权限管理、安全可靠性管理、移动实时分析和跨多数据源图表分析等功能。2. 2. 3 大数据可视化分析系统应全面、客观地表现数据价值大数据可视化分析系统是否具备强大的数据发现和价值表现能力,能否全面、客观和智能地表现图书馆大数据价值和准确反映数据之间的关系,是图书馆大数据可视化分析系统构建应重点关注的问题。图书馆读者服务过程具有用户群庞大、读者阅读需求随机产生、服务保障负载突发和服务模式多样的特点。因此,如何安

    24、全、高效、适时和便捷地对图书馆读者服务全程进行高速捕捉、发现和可视化分析,是图书馆即时获取读者阅读需求和服务环境变化情况,快速调整读者服务管理策略和服务资源的关键。其次,应根据图书馆内不同业务部门服务保障需求与业务流程特点,为用户提供具有高性能内存分析架构的个性化数据可视化分析服务,并由不同业务部门根据可视化分析的数据内容、对象、规模和时限要求,为读者提供精确、动态和资源可控的大数据可视化分析服务。第三,图书馆在大数据可视化分析结果表现中,应坚持大数据价值、数据关系的精确表现与用户易于理解相结合的原则,做到数据显示直观和符合用户思维逻辑,不会因为数据覆盖和表现模糊而影响数据价值的完全展现。此外

    25、,还可采取辅助图形元素、在散点图中增加趋势线、在热图中使用不同颜色和使用三维图的方式,增强用户对可视化表现的理解力和可用性。第四,可视化分析系统应对图书馆的服务安全威胁发现、服务资源管理与实时调度、QOS的即时保证与控制、服务风险管理等实现智能化操作,自动实现决策数据的自动抽取、处理、可视化表现和管理系统的智能反馈控制13。2. 2. 4 可视化分析应坚持大数据使用公平和共享的原则坚持大数据使用公平和共享的原则,是图书馆提高大数据可视化分析效率与数据利用率,将数据分析结果转化为图书馆管理与行动决策的保证。首先,图书馆应改变传统的数据仅为决策层使用的旧观念,将大数据可视化分析应用到图书馆管理、运

    26、营和服务提供的各个业务部门,在保证数据资源安全和使用人员身份认证的前提下,确保所有普通业务人员均可使用相应权限的数据进行可视化分析,并将分析结果转化为行动决策,增强服务的质量和决策科学性。其次,图书馆在大数据可视化分析平台的管理中,管理员应加强对不同部门人员的数据访问权限控制,以及可视化分析平台操作权限的创建与管理。此外,还可通过对图书馆全体人员数据使用权和大数据分析平台操作权的智能化管理,严格区分图书馆数据采集人员、可视化分析系统管理人员、数据分析师和普通馆员的工作职能与任务,提高可视化分析系统数据应用效率和保证大数据分析的公平性14。第三,图书馆大数据使用在确保公平性和多用户共享的前提下,

    27、应通过科学规划分析流程和降低分析过程复杂来减少数据可视化分析的成本投入,保证大数据可视化分析具有较高的投资收益率。3 结束语随着大数据时代的到来,数据已成为图书馆生产资料和服务生产力结构的重要组成部分。面对海量、多类型、复杂和低价值密度的大数据资源,图书馆能否安全、高效、精确和经济地对大数据资源开展行之有效的快速挖掘、分析和可视化表示,成为关系图书馆能否科学构建用户服务系统,能否有效将大数据价值转化为服务生产力的关键因素。图书馆在大数据可视化分析中存在着海量数据规模,可能会导致传统算法失效,复杂的数据关联性会造成计算过程复杂和系统资源过度损耗等问题。此外,大数据资源的即时采集、网络传输、数据融合和分析过程的时间延迟与积累,也会严重降低图书馆发现读者阅读需求、服务市场竞争环境变化和制定可靠服务策略的时效性。因此,图书馆在大数据可视化分析系统设计和应用的过程中,应从读者服务需求、用户 QOS 保障和系统服务能力建设大局出发,重点加强可视化分析系统的安全性、计算效率、实时性、复杂数据环境适应能力、分析结果可视化表现力的建设,才能提高图书馆大数据挖掘、分析、可视化表现和决策的能力,才能为读者个性化阅读服务提供可靠的大数据可视化分析支持15。

    展开阅读全文
    提示  道客多多所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:图书馆大数据可视化分析系统的设计与实现.doc
    链接地址:https://www.docduoduo.com/p-147623.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    道客多多用户QQ群:832276834  微博官方号:道客多多官方   知乎号:道客多多

    Copyright© 2025 道客多多 docduoduo.com 网站版权所有世界地图

    经营许可证编号:粤ICP备2021046453号    营业执照商标

    1.png 2.png 3.png 4.png 5.png 6.png 7.png 8.png 9.png 10.png



    收起
    展开