1、第八讲 多媒体数据库概述,多媒体数据的特点 多媒体数据库的发展现状 多媒体数据库的数据模型 多媒体数据库检索与查询 分布式多媒体数据库系统 结构化查询语言 多媒体数据挖掘,多媒体数据的特点,传统的数据处理中所处理的数据类型主要是整型、实型、布尔型和字符型,而多媒体数据处理中的数据类型除了上述常规数据类型外,还要处理图形、图像、声音、文字及动画等复杂数据类型。 多媒体数据与常规数据有许多差别,主要表现在以下几方面:数据量 、数据长度 、数据模型 、数据定义及操作 、数据的时间特性和版本概念 、数据传送,多媒体数据库应具有的功能,支持图形、图像、动画、声音、动态视频、文本等多媒体字段类型及用户定义
2、特殊类型 支持定长数据和非定长数据的集成管理 支持复杂实体的表示和处理 支持同一实体的多种表现形式 具有良好的用户界面 支持多媒体的特殊查询及良好的处理接口 支持分布式环境,多媒体数据库的构造,通常，把能够管理数值、文字、表格、图形、图像、声音等多种媒体的数据库称为多媒体数据库（Multimedia DataBase，MDB）。,多媒体数据库应具有的功能,支持图形、图像、动画、声音、动态视频、文本等多媒体字段类型及用户自定义类型。 支持定长数据和非定长数据的集成管理。 支持复杂实体的表示和处理，要求有表示和处理实体间复杂关系（如时空关系）的能力，有保证实体完整性和一致性的机制。 支持同一实体的
3、多种表现形式（如一段视频在播放时可改变其帧率或一幅静态图像，在显示时改变其对比度等性质而不影响库中的内容等）。 具有良好的用户界面。 支持多媒体的特殊查询及良好的处理接口。 支持分布式环境。,构造多媒体数据库的方法,一类是在关系数据库的基础上构造多媒体数据库。虽然关系数据模型抽象能力较差，不适于用来表示复杂的多媒体对象，但它比较成熟、应用广泛，对于某些应用而言，在关系数据库的基础上构造多媒体数据库还是可行的。 另一类是在面向对象数据库的基础上构造多媒体数据库。因为面向对象数据模型具有很强的抽象能力，可以很好地满足复杂的多媒体对象的各种表示需求，能够为多媒体数据库的构造提供理想的基础，因而面向对
4、象技术在多媒体数据存储及管理中的应用也成为重要研究课题。,在关系数据库的基础上构造多媒体数据库,从20世纪80年代以来，关系数据库系统凭借其坚实的理论基础、简单的结构，具有国际标准的数据库语言、成熟的产品和广大的用户群，一直在数据库领域占统治地位。 但关系模型结构简单，是单一的二维表，数据类型和长度被限制在一个较小的子集中，又不支持新的数据类型和数据结构，难以实现空间数据和时态数据，缺乏演绎和推理操作，因此表达数据特性的能力受到限制。 在多媒体数据库系统中使用关系模型，必须对现有的关系模型进行扩充，使它不但能支持格式化数据，也能处理非格式化数据。,在面向对象数据库的基础上构造多媒体数据库,20
5、世纪80年代初发展起来的面向对象技术，以自然、直观、科学的思维模式去看待、描述、定义、处理现实世界，把世界看成是由对象组成的大系统，而对象包含了静态结构、动态行为和约束条件三大要素，通过引入封装、继承、对象、消息、超类、子类等概念，科学地描述各种对象及其内在的结构和联系，从而使许多复杂甚至无法解决的问题都变得相对简单。 面向对象技术的发展也推动了数据库技术的发展，二者的结合促使了面向对象数据库的诞生。 研究表明，面向对象数据库是解决多媒体数据较为科学的方法和工具，它可以方便灵活地处理图形、图像、声音、文字、动画等多媒体信息，尤其是具有层次结构的复杂对象，如GIS（地理信息系统）。,多媒体数据库
6、检索与查询,查询方法 全文检索技术 万维网文档的全文检索技术 图像检索 基于内容的信息检索,查询方法,查询方法是数据库系统极其重要的特性之一，是鉴别一个数据库管理系统成功与否的重要依据。 多媒体数据库的三种查询方法：关键字查询、可视化查询、语义查询。,全文检索技术,所谓全文检索就是给定一个字符串或字符串的逻辑表达式，在全文数据库中进行相应的检索，查出与指定表达式相匹配的出现并将这些出现的原文件作为检索结果返回给用户。 实现快速的全文检索包括以下几个方面的技术问题： 检索的快速响应 如何建立索引库 如何压缩索引数据 提供完整、丰富的检索操作手段 超文本处理 分布式网络文档的检索处理,万维网文档的
7、全文检索技术,对WWW网上的HTML文档涉及全文检索系统时主要考虑以下几个方面的特点： 分布性 数据量巨大 动态性 复杂的标识符处理,简单的WWW网全文检索系统的结构,（1）网页抓取,搜索引擎派出一个能够在网上发现新网页并抓文件的程序，这个程序通常称之为蜘蛛（Spider）或爬虫。 Spider是基于Web的程序，它从已知的网页出发，通过请求站点上的 HTML 文档访问某一站点，不断从一个站点移到另一个站点，自动建立索引，加入到网页数据库中，这个过程就叫爬行。 Spider 进入某个超文本时，利用HTML 语言的标记结构来搜索信息及获取指向其他超文本的URL地址，无需用户干预，实现网络上的自动
8、爬行和搜索。Spider每遇到一个新文档，都要搜索它上面的链接。通常采取的爬行策略有两种：深度优先，即先沿一条路径采到叶节点，再从同层其他路径进行采集；广度优先，即先采集完同一层网页，再采集下一层网页。,（2）索引,Spider将抓取的页面文件分解、分析，并以巨大表格的形式存入数据库，这个过程即是索引（index)。在索引数据库中，网页文字内容，关键词出现的位置、字体、颜色、加粗、斜体等相关信息都有相应记录。 索引的方法主要分为两种：一种基于关键词的索引；另一种是基于概念的索引。第一种是大多数搜索引擎使用的方法，是从文档中提取重要的词作索引。在文档中顶部出现的词以及在整个文档中出现多次的词可以
9、认为是比较重要的。第二种方法与前种不同之处在于试着了解语义，用一个词能代表许多意义相近的词，这样既节省了索引空间，也为检索时可返回有关主题的所有文档，甚至这些文档中的词与检索词并不精确匹配。,（3）搜索词处理,用户在搜索引擎界面输入关键词，单击“搜索”按钮后，搜索引擎程序即对搜索词进行处理，如中文特有的分词处理，去除停止词，判断是否需要启动整合搜索，判断是否有拼写错误或错别字等情况。,（4）排序,对搜索词处理后，搜索引擎程序便开始工作，从索引数据库中找出所有包含搜索词的网页，并且根据排名算法计算出哪些网页应该排在前面，然后按照一定格式返回到“搜索”页面。 排名算法决定了搜索结果中不同网站的排名
10、，因为为了提升网站的排名，搜索引擎优化技术应运而生。,搜索引擎优化,即（Search Engine Optimization，简写为SEO），一般可简称为搜索优化。 其目的是通过了解各类搜索引擎如何抓取互联网页面、如何进行索引以及如何确定其对某一特定关键词的搜索结果排名等技术，来对网页内容进行相关的优化，使其符合用户浏览习惯，在不损害用户体验的情况下提高搜索引擎排名，从而提高网站访问量，最终提升网站的销售能力或宣传能力的技术。,基于内容的信息检索,根据媒体对象的语义和上下文联系进行检索。它有如下特点： 从媒体内容中提取信息线索。 是一种近似匹配 大型数据库的快速检索 多种检索手段 主要包括：基
11、于内容的图像检索、基于内容的视频检索、基于内容的音频检索,图象检索,图象检索,图像检索中的关键技术,借用文本索引技术 基于内容的图像检索 相关反馈和自动标注技术,借用文本索引技术,早期的图像检索借用了文本索引技术。 文本搜索引擎是将网站、网页的内容索引为一系列关键字，当用户输入关键字后，系统可以根据数据库中的倒排文件将关键字映射为网站或网页的地址。 对于图像文件，一样可以根据其内容手工将其标注为一系列关键字，并对关键字建立索引，这样，图像检索就转化为文本检索的问题,借用文本索引技术,这种方法很不实用，一是必须由人工完整地标注所有图像，对于小图像集合也许问题不大，但随着图像数目的增加，特别是网络
12、上的图像是无穷无尽的，这种方法显然不可行； 第二个问题在于图像所包含的信息量庞大，不同用户对于同一张图像的看法不及相同，这就导致对图像的标注没有一个统一标准，检索出的结果不能很好符合用户的需求,相关反馈和自动标注技术,相关反馈和图像的自动标注技术是重要的突破。 相关反馈是在信息检索系统中的一种指导性学习的技术，用以提高系统的检索能力。 在基于内容的图像检索中，通常检索的结果不能令人满意，这时用户可以告诉系统哪些是符合用户需求的正反馈图片，哪些是不符合检索内容的负反馈图片，系统根据用户提交的指导信息，对内部检索参数进行调整，从而优化检索结果并提供给用户新的检索结果。,相关反馈和自动标注技术,对于
13、图像的标注问题，可以手工标定很小一部分图，利用相关反馈的方法，将用户因为反馈而标定的信息不断加入数据库，同时对这些信息进行扩展，使具有相似内容的图像因为这些图的相似性而得到标注。 试验表明，此方法使检索精度得到了很大提高,基于内容的图像检索,基于内容的图像检索(Content-Based Image Retrieval，CBIR)是一种新的检索技术，它是指除了利用传统的数据库对图像描述的文字信息进行储存管理外，还利用图像的颜色、纹理、形状等特征进行检索。 它融合了传统的模式识别技术与多媒体良好的人机交互技术，有着广泛的发展前景。,基于内容的图像检索,基于内容的检索不需要用户的参与，而利用图像自
14、身的特征，如颜色、纹理、形状等特征来进行检索，具有较强的客观性。 通常，可以抽取图像库中所有文件的特征，用户检索的过程一般是提供一个样例图像，系统抽取该样例图像的特征，然后同数据库中所有的特征进行比较，并将与样例特征相似的图像返回给用户，这个过程称之为基于样例的图像检索。,基于内容的图像检索,当前研究图像检索的重点和难点集中在如何在抽取的底层特征和图像内容所表示的语义特征间建立很好的联系，直到今天，这仍然是基于内容图像检索的一个没有解决的问题。 也就是说，由于我们所拥有的特征并不能很好地体现图像真正的语义信息，以至于检索的结果往往不能令人满意,CBIR的检索内容,颜色：图像颜色分布、相互关系、
15、组成等； 纹理：图像的纹理结构、方向、组成及对称关系等； 形状：图像轮廓组成、形状、大小等； 对象：图像中子对象的关系、数量、属性、旋转等。,CBIR的检索方式,选择颜色的比例、层次以及纹理图案的图样进行查询； 用工具生成表示物体和物体间空间关系的符号图像进行查询； 用画图工具生成与希望查找的图像颜色分布相似的图像进行查询； 从当前窗口所陈列的全部图像中选择接近自己意愿的图像进行查找，重复多次直至找到为止。 上述方法与字符的关键词结合进行查找。,基于内容的视频检索,视频检索的方式目前主要有两种： 基于关键帧的检索，是对代表视频镜头的关键帧进行检索。 基于运动的检索，是基于镜头和视频图像的时间特
16、征来检索，是视频查询的进一步要求。,基于内容的音频检索,音频信息检索分为以下几方面： 基于语音技术的检索。语音检索是以语音为中心的检索，采用语音识别等处理技术。如电台节目、电话交谈、会议录音等。 音频检索。音频检索是以波形声音为对象的检索，这里的音频可以是汽车发动机声、雨声、鸟叫声，也可以是语音和音乐等，这些音频都统一用声学特征来检索。,分布式多媒体数据库系统,分布式多媒体数据库系统的特点 分布式多媒体数据库的实现途径,特点,实时性 同步特性 服务质量 体系结构 客户/服务器结构,实现途径,远程调用范型。远程调用语句经过编译器翻译成对服务器的调用码，由通信机制传送给服务器，再由服务器端将这些调
17、用码翻译成局部的进程调用，以完成远程服务。 中间件技术。中间件(Middleware)的作用是为了屏蔽不同操作系统接口的差异及分布性，为用户提供一个统一的应用开发接口。,结构化查询语言,SQL简介 SQL的数据类型 SQL的基本语法,SQL简介,结构化查询语言SQL(Structured Query Language)是Bovce和Chamberlin于1974年提出的，并首先在IBM的关系数据库系统System R上实现，开始称为SEQUEL (Structured English Query Language)，后来简称SQL。 1986年10月，美国国家标准局(ANSI)颁布了SQL语言
18、的美国标准，这就是SQL86。SQL86主要包括四个组成部分： 模块定义语言(DDL)：用于描述关系数据库表、视图的结构和授权规则； 数据操纵语言(DML)：用于数据库数据的查询和更新； 模块语言(Module Language)：用于说明数据库和用宿主语言编写的应用程序之间的调用界面； 嵌入式(Embedded)语法：在宿主语言编写的应用程序中，作为SQL语句的使用规则。,SQL的数据类型,SQL中包含5种基本数据类型：字符型，文本型，数值型，逻辑型和日期型。 除了这些基本数据类型外，不同的数据库系统还定义了自己的数据类型，而且这些基本的数据类型的关键字也会有所不同。,支持多媒体数据的数据类
19、型,目前，对于多媒体数据的管理大都采用表+实体的方法，即多媒体数据（如图像）以文件形式存放于指定的计算机目录下，在数据库表中只反映图像数据文件的存储路径。这种管理模式，给数据的维护增加了难度，同时也给数据的安全带来一定的隐患。因此，要真正做到各类数据在数据库中安全管理，了解直接将多媒体数据存储在数据库关系表中的方法是非常必要的。 在计算机中，一个二进制长对象被称为BLOB。BLOB是一个大文件，典型的BLOB是一张图片或一个声音文件，由于它们的尺寸，必须使用特殊的方式来处理（如上传、下载或者存放到一个数据库）。,支持多媒体数据存储的相关数据类型,SQL的基本语法,创建表 表是数据库的最基本元素
20、之一，表与表之间可以相互独立，也可以相互关联。创建表的基本语法如下： CREATE TABLE table_name( column1 DATATYPE NOT NULL NOT NULL PRIMARY KEY, column2 DATATYPE NOT NULL,创建索引,索引用于对数据库的查询。一般数据库建有多种索引方案，每种方案都精于某一特定的查询类。索引可以加速对数据库的查询过程。创建索引的基本语法如下： CREATE INDEX index_name ON table_name (column_name),执行查询,查询是使用最多的SQL命令。 查询数据库需要凭借结构、索引和字段类
21、型等因素。大多数数据库含有一个优化器（optimizer），把用户的查询语句转换成可选的形式，以提高查询效率。其基本语法如下： SELECT fieldlist FROM table WHERE selectcriteria GROUP BY groupfieldlist HAVING groupcriteria,修改表中数据,在使用数据库过程中，往往要修改其表中的数据，如往表中添加新数据、删除表中原有数据，或对表中原有数据进行更改。它们的基本语法如下。 数据添加： INSERT into table_name (column(s) VALUES (expression(s) 数据删除： DE
22、LETE from table_name where search_condition 数据更改： UPDATE table_name set column1=expression1, column2=expression2, WHERE search_condition,多媒体数据挖掘,数据挖掘（Data Mining）是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 从商业角度讲，数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商
23、业决策的关键性数据。 本质上讲，数据挖掘其实是一类深层次的数据分析方法。其主要任务是关联分析、聚类分析、分类、预测、时序模式和偏差分析等。,Web挖掘,Web挖掘是数据挖掘在Web上的应用，它利用数据挖掘技术从与WWW相关的资源和行为中抽取感兴趣的、有用的模式和隐含信息，涉及Web技术、数据挖掘、计算机语言学、信息学等多个领域，是一项综合技术。 Web挖掘的目的是通过对Web内容的分析，获取竞争对手和客户信息、发现用户访问模式等。 从建立电子商务网站的角度看，网站的内容和层次、用词、标题、奖励方案、服务等任何一个地方都有可能成为吸引客户的因素，而如何通过对在线交易生成的记录文件和登记表中的数据进行分析和挖掘，充分了解客户的喜好、购买模式，设计出满足于不同客户群体需要的个性化网站，对于吸引客户，增加网站的竞争力是非常必要的。,多媒体数据挖掘,多媒体数据挖掘相对于传统的数据挖掘至少有两个需要解决的问题。 首先，多媒体数据为非结构化、异构数据。要在这些非结构化的数据上进行挖掘以获取知识，必须将这些非结构化数据转化为结构数据，在此基础上通过特征提取，用特征向量作为元数据建立元数据库。 其次，多媒体数据的特征向量通常是数十维甚至数百维，如何对高维矢量进行数据挖掘是要考虑的一个重要问题。,
