1、大数据时代数字图书馆的图像资源服务研究 高蕴梅 常熟理工学院图书馆 摘 要： 图像资源建设和检索服务是大数据时代数字图书馆重点建设内容之一。分析了数字图书馆图像资源建设的现状以及存在的大模式问题和共享协作问题;比较和分析了基于文本、内容和语义的数字图书馆图像资源的三种检索服务;提出了基于深度强化学习和迁移学习的两种数字图书馆图像检索服务策略。关键词： 图像资源; 图像检索; 深度强化学习; 迁移学习; 作者简介：高蕴梅 (1982-) , 女, 学士, 助理馆员, 研究方向:数字图书馆建设, 已发表论文 3 篇, 其中 EI 收录 1 篇。收稿日期：2017-03-28基金：江苏省高校哲学社会
2、科学研究项目“大数据时代高校图书馆员数据素养的教育研究” (项目编号:2016SJB870016) Image Resource Service for Digital Library in Big Data EraGAO Yunmei Library of Changshu Institute of Technology; Abstract： Image resource building and image retrieval service are important tasks for digital library in big data era. Firstly, the curr
3、ent status of image resource building and its problems of big model, sharing and cooperation were analyzed.Secondly, three kinds of digital library service of Text Based Image Retrieval (TBIR) , Content Based Image Retrieval (CBIR) and Sematic Based Image Retrieval (SBIR) for image resources were co
4、mpared and analyzed. Lastly, two retrieval service strategies based on deep enforcing learning and transfer learning were proposed.Keyword： image resource; image retrieval; deep enforcing learning; transfer learning; Received： 2017-03-28相比文字信息等, 图片和图像作为一种信息载体以其鲜明、生动、形象、明确、清晰、真实细腻的特点展现给人们直观的信息, 它具有其它
5、任何载体文献不可比拟的显著特点1。传统的文字阅读已经无法满足读者的阅读兴趣, 图像阅读已经渐渐成为图书馆的知识传播方式之一。大量的数字出版物以及一些珍贵资料以数字媒体的形式被收藏, 其中一些历史资料、收藏物都以图片、视频图像的方式展现给读者, 在实际应用中图像已经成为一种普遍被接受的信息载体2。图片、图像作为一种信息资源其潜在价值越来越高, 对该类资源的收集也越受重视。社会的发展和 IT 技术的更新使人们逐渐从“读文时代”走向了“读图时代”。随着图像采集技术、存储技术的不断发展, 大数据时代图书馆的图像资源正在以惊人的速度增长。如何有效地建设和检索如此庞大的非结构化图像资源以实现图像信息资源的
6、共享, 实现其真正的价值, 发挥其更大的潜在价值。国内外学者对该方面做了一些探索性的研究, 但其这方面的研究力度尚显不足, 与日益增长的需求明显滞后。为此, 笔者分析大数据时代数字图书馆的图像资源建设和图像检索服务的现状和存在的问题, 并提出相应的策略。1 数字图书馆图像资源建设20 世纪 90 年代后期, 美国提出了数字图书馆首创计划 (Digital Library Initiative, DLI) 3, 集中加工和处理图书馆的多媒体信息资源。岩画信息作为地方文物古迹数字图书馆的组成部分, 杜方4提出了贺兰山岩画图像信息在数字图书馆中的表示和存储方案。美术院校图书馆的馆藏以图像资源为特色,
7、 天津美院图书馆5自建了“四万张精品素材库”图像特色资源数据库。南京图书馆6于 2011 年 11 月完成了中国近代文献图像数据库自建项目包含了 1个综合库和 8 个专题库, 涵盖了民国时期出版的图片资料。建设珍善本古籍图像数据库是保护与传承珍贵古籍的重要手段, 苏州图书馆和首都图书馆7等实现了古籍数字化, 通过数字照相或扫描的方式将珍善本古籍存储为图像数据并借助互联网等媒介供大众使用。国内建设的古籍专题数据库较多, 如方志库、家谱库、中医药古籍库、农业古籍库等, 包括了大量图像数据资源。郭瑞芳2调研了全国多所高校图书馆建立的各种图像数据库, 包括地域文化图像数据库、专业特色图像数据库、人物图
8、像数据库、记忆图像数据库和专题图像数据库等。尽管现有数字图书馆图像资源建设取得了阶段性成果, 但是面对大数据时代的数字图书馆的要求, 还需要考虑以下几个方面的问题。(1) 大数据时代图像资源建设的“大”模式问题。现有图书馆图像资源建设以部分、局部和专题的资源建设为主, 存在图像资源不全、与图书馆其它资源联系不深等问题。大数据时代数字图书馆图像资源的“大”, 并不仅指图像数据本身绝对数量的大, 更是指处理图像数据使用的“大”模式:尽可能地收集全面、完整和综合的图像数据资源。(2) 大数据时代图像资源建设的共享和协作问题。现有图书馆图像资源建设以单个图书馆或单个部门为主, 不能在图书馆之间或部门之
9、间共享和协作, 存在重复建设图像资源等问题。大数据时代数字图书馆图像资源库的建设应贯彻落实创新、协调、绿色、开放、共享发展理念。图像资源的数据库应该标准化与规范化并统一建库软件平台, 以方便用户跨库使用和交换, 提高数据库的使用质量和查询服务效果。2 数字图书馆图像资源检索服务针对数字图书馆图像检索问题, 目前已经提出了多种方法, 可以概括为基于文本的图像检索 (Text Based Image Retrieval, TBIR) 、基于内容的图像检索 (Content Based Image Retrieval, CBIR) 方法和基于语义的图像检索 (Sematic Based Image
10、Retrieval, SBIR) 三类。2.1 基于文本的图像检索方法由人工给出所有图像的文本标注, 然后基于文本关键词检索图像。目前, 国内外的图书馆和主流搜索引擎如 Google、百度等都提供了基于文本的图像检索功能。这种方法的优点是简单直观, 符合人们对图像语义的理解, 检索的准确率比较高, 速度快;缺点是需要投入大量人力和财力标注图像信息, 人工标注费时费力、效率低、容易出错且具有一定主观性。2.2 基于内容图像检索方法通过分析图像库中每幅图像的颜色、纹理特征等内容, 建立特征索引, 并存储在特征库中, 再提取待检索图像的颜色特征、形状特征、纹理特征进行查询。经典的检索系统有 IBM
11、公司开发的 OBIC、Virage 公司的 Virage 图像搜索引擎、麻省理工学院 (MIT) 多媒体实验室开发的 Photobook、哥伦比亚大学开发的Visual SEEK。目前, 国内外主流搜索引擎如 Google、百度等都提供了基于内容的图像检索功能。依据人类的视觉功能对对称性的感知比较敏感, 何蕾8提出了一种基于图像对称性特征及广义复合矩 (GC 矩) 的数字图书馆图像内容检索技术, GC 矩具有仿射不变性, 具有较高的鲁棒性。根据文档图像自身的特点, 结合人眼的视觉特性, 张敏9提取文档图像中的边缘信息并构造有意义的纹理特征定义文档图像的特征描述符, 实现数字图书馆文档图像内容的
12、检索。为了在有限的检索时间内提高相似图像的检索效率, 周敏10提出了一个分布式的数字图书馆图像检索模型, 并设计了一个基于该模型的图像检索原型系统。基于内容的图像检索方法的优点:用户不需要对检索的媒体对象进行精确描述, 比较适合实际应用, 具有很强的交互性。基于内容的图像检索方法的缺点:首先, 底层特征与图像高层语义之间存在巨大的鸿沟, 图像低层特征提取算法大多普适性较差, 且区分能力有限, 不能充分地表达图像的深层语义, 仅以低层特征为检索依据得到的检索结果往往不尽如人意;其次, 要求普通用户提供查询样本图像或草图在很多实际场合并不容易实现。2.3 基于语义的图像检索方法通过图像语义映射框架
13、以填补图像底层特征和高层语义之间的“语义鸿沟”。王华秋11综述了数字图书馆的图像语义映射的关键技术。首先, 提取一个合理的低层特征是能够有效地实现语义映射的关键, 经过降噪、增强、分割等图像预处理后提取图像自身的颜色、形状、纹理等定量内容信息。其次, 通过分析训练集中图像的特征并通过机器学习的方式将训练集中的图像低层特征和语义关键词建立联系。常见的语义映射方法大致分为 3 类, 监督式的贝叶斯分类器、支持向量机以及神经网络等图像分类法、非监督式的图像聚类以及相关反馈的语义学习法。针对传统图像聚类特征提取算法缺乏图像颜色的空间分布信息且适应性较差等问题, 王华秋12提出了基于空间密度聚类算法的数
14、字图书馆图像检索。通过等面积矩形环对图像进行划分并计算各空间区域的相关性, 并根据空间区域相关性计算各区域的重要性将空间信息与颜色信息进行融合。(1) 基于语义的图像检索方法的优点:可以减少底层特征和高层语义之间的“语义鸿沟”, 通过语义标注后的图像检索, 就可以实现基于文本的图像检索。(2) 基于语义的图像检索方法的缺点:首先, 提取的特征依赖于图像分割等预处理, 但是图像分割本身是个难题, 许多图像检索方法只是简单地把图像分割成几个区域, 分割结果缺乏语义, 且分割的通用性差;其次, 图像的低层特征和高层语义没有固定的关联性, 难以直接推导, 大多数现有基于语义的图像检索的语义理解是建立在
15、单幅图像上, 多图联合语义理解方面的研究较少, 不能对大规模场景语义进行深入理解。最后, 通过人工构造特征和选择特征是一个非常漫长繁琐的工作, 同时很难挑选出非常合适的特征描述子, 通过分类或者聚类学习算法后得不到期望的语义特征, 在实际场景应用中鲁棒性会很差。3 图像资源的智能检索服务策略根据发改高技20161078 号文件“互联网+”人工智能三年行动实施方案, 加快建设文献、语音、图像、视频、地图等多种类数据的海量训练资源库和基础资源服务公共平台, 建设支撑超大规模深度学习的图书馆公共服务平台的要求。为此, 提出基于大数据深度强化学习方法和小样本迁移学习的两种图像资源智能检索服务策略, 从
16、图像资源数据中自动学习特征和选择特征, 实现大数据数字图书馆图像资源的智能检索服务。3.1 基于深度强化学习的数字图书馆图像检索服务策略近年来, 基于人脑视觉机理的深度学习取得了重大突破, 麻省理工学院技术评论杂志将其列为 2013 年十大突破性技术之首。2016 年由 Deep Mind 公司开发的基于深度学习的 Master 程序战胜了世界上 60 位围棋高手, 成功挑战了人类智力游戏的最后一块高地。深度学习被用于特征自主学习和表示, 表现出了极其优异的性能。斯坦福大学的 Andre13提出了基于深度学习的皮肤癌诊断方法, 诊断结果可以达到专家级的水平。深度学习是一种机器学习中建模数据的隐
17、含分布的多层表达的算法, 深度学习网络具有类似于人脑感知视觉的层次化结构, 逐层抽象学习数据特征, 从而发现数据的内在结构信息并改善分类识别的效果。研究表明, 深度学习可以很好的挖掘图像的低层特征和中层特征。强化学习, 是一个连续决策的过程, 其特点是不给任何数据做标注, 仅仅提供一个回报函数, 这个回报函数决定当前状态得到什么样的结果的马尔科夫决策过程。强化学习最终目的是让决策过程中整体的回报函数期望最优。数字图书馆可以利用图像大数据的平台, 采用如附图所示的流程训练出各种图像概念模型的深度神经网络, 利用深度强化学习实现图像资源的智能检索服务。附图基于深度学习的图像特征学习3.2 基于迁移
18、学习的数字图书馆图像检索服务策略迁移学习利用在源领域已经拥有大量数据, 并且在源领域能对数据进行很好的应用, 建立了模型后换一个领域也能让它使用, 具备举一反三的学习能力。针对只有少量新标记数据, 迁移学习通过挑选大量已标记的有效数据加入当前数据集训练新的模型, 节省了机器学习的资源和时间。数字图书馆的部分图像资源, 如古籍珍贵图像, 图像资源数据较少, 可以让计算机把大数据源域学习的知识和方法迁移到这些图像资源目标域。采用样本迁移、特征迁移、模型迁移和关系迁移学习等策略, 实现基于迁移学习的数字图书馆图像检索服务。样本迁移学习在数据集里面找到跟目标领域相似的源领域数据, 把源领域数据放大多倍
19、的方法, 通过样本来达到迁移的目的。基于特征选择的迁移学习方法是识别出源领域与目标领域中共有的特征表示, 然后利用这些特征进行知识迁移。假设给定源领域数据 X, 目标领域数据 Y, 生成模型先计算得到联合概率 P (X, Y) , 然后再计算 P (Y|X) , 可对源领域和目标领域数据不同分布进行建模, 从而实现源领域与目标领域之间的知识迁移以提高算法的性能。4 结语大数据时代图像资源建设和检索服务是数字图书馆必须面临的任务之一。笔者分析了数字图书馆图像资源建设的趋势, 现有图像资源建设和检索服务的状况和问题分析, 给出了大数据时代数字图书馆图像资源的智能检索服务策略, 对大数据时代数字图书
20、馆图像数据库的建设和智能检索服务具有借鉴意义。参考文献1郭瑞芳.数字图书馆中图片图像资源库的建设及组织技术研究J.现代情报, 2011, 31 (3) :83-85. 2郭瑞芳, 张会章.我国高校图书馆特色图像数据库建设现状与构建原则J.图书馆学研究, 2012, (6) :50-54. 3王伟平.基于内容的图像检索技术研究进展及其在数字图书馆中的应用J.图书情报工作, 2009, 53 (5) :116-120. 4杜方, 王怀柱.岩画图像信息在数字图书馆中的表示和存储J.图书馆理论与实践, 2009, (3) :62-64. 5牛筱桔.美术图像资源自建数据库探析J.大学图书馆学报, 201
21、0, (6) :72-74. 6王国平.公共图书馆自建特色数据库的实践与思考J.河南图书馆学刊, 2015, 35 (12) :25-27. 7史丽君.古籍图像数据库建设常见问题及对策研究J.图书馆工作与研究, 2016, (9) :62-66. 8何蕾.基于对称性和 GC 矩的数字图书馆图像检索技术J.图书情报工作, 2012, 6 (7) :35-139. 9张敏.基于纹理特征的数字图书馆文档图像检索技术J.河南理工大学学报 (自然科学版) J.2014, 33 (4) :506-509. 10周敏.数字图书馆的图像检索模型研究J.图书馆理论与实践, 2015, (6) :106-109. 11王华秋, 聂珍, 王斌.数字图书馆的语义图像检索综述J.图书馆理论与实践, 2015, (4) :6-10. 12王华秋, 王重阳, 聂珍.空间密度聚类在数字图书馆图像检索中的应用J.现代情报, 2016, 36 (2) :129-134. 13E.Andre, K.Brett, A.N.Roberto et.al.Dermatologist-level classification of skin cancer with deep neural networksJ.Nature, 2017, 000:1-11.
