1、李国荣 助教：许震中国科学院大学 计算机与控制学院 2015.3.16,多媒体内容分析与检索,目录,教学目的 参考书目 现实中的多媒体技术应用实例 多媒体技术简介 课程教授内容与方式 学习本课程的知识准备 成绩评定 建议与我的联系方式,教学目的,最基本目的是向对多媒体内容分析与检索技术领域感兴趣的学生提供领域背景知识，培养研究技能与能力。展现目前该领域研究所取得的部分成就. 给有志于该领域研究的研究生提供丰富的选题素材，为进入独立研究阶段打下良好素质基础。在掌握理论同时，训练查阅、阅读英文文献能力，利用程序设计工具(c+,MATLAB)实现验证思想的能力。,参考书目,网上多媒体信息分析与检索庄
2、越挺，潘云鹤，吴飞编著 清华大学出版社，2002.9,参考书目,基于内容的视觉信息检索 章毓晋 著 科学出版社 ，2003.5,参考书目,多媒体信息检索与管理 冯大淦，萧允治，张宏江 著 刘晓冬 译 清华大学出版社 ，2009.11,参考书目,经典的英文文献Internet网知之为知之，不知搜索之！,3.多媒体技术在现实中的应用及影响,网上多媒体数据,全球在2010年正式进入ZB时代，预计2020年达35.2ZB（约为35.21012GB）*，其中图像视频数据占主导地位,安防,娱乐,通讯,教育,图像视频数据占网络数据比例,* 数据来源于2012年IDC数据报告,数字图像视频应用日益广泛，数据量
3、大,网上多媒体数据,10,视频,图片,文本,超过600万个视频 并且每个月增长20%,每秒钟有数千张 图片被上传,多媒体数据在人们的生产和生活中起到越来越重要的作用,网上多媒体数据,2011年上半年，我国微博用户数量从6311万迅速增长到1.95亿，半年新增微博用户1.32亿人，增长率高达208.9%（增长最快的应用），在网民中的使用率从13.8%提升到40.2%。,网上多媒体数据,2011年1月21发布第一个微信版本，2012年3月底，微信用户突破1亿大关，2013年1月15日，腾讯微信宣布已达到3亿用户，仅仅两年的时间，微信成为了最热门的话题,多媒体应用之图片检索,13,创意推动的多媒体产
4、业,100多年前，福特公司的创始人亨利福特先生到处跑去问客户：“您需要一个什么样的更好的交通工具？”几乎所有人的答案都是：“我要一匹更快的马”。,创意推动的多媒体产业,创意推动的多媒体产业,微博,微信,创意推动的多媒体产业,创意推动的多媒体产业,网络多媒体数据的影响,19,网络多媒体数据的影响,20,网络多媒体数据的影响,21,网络促使政权更迭突尼斯、埃及政变（茉莉花革命）,青年自焚,Facebook等网络媒体推波助澜,群众游行示威,政权 更迭,维基解密,网络关键字,维基解密,Facebook,推特革命( Twitter revolution）,网络多媒体数据的影响,2011 伦敦骚乱,网络多
5、媒体数据的影响,2011 伦敦骚乱,网络多媒体数据的影响,24,2011.6.23 北京突降 暴雨,网络事件,现实事件,新燕京七景：陶然碧波， 安华逐浪，白石水帘， 莲花洞庭，大望垂钓， 二环看海，机场观澜。,社会影响恶劣,网络辟谣,网络多媒体数据的影响,郭美美事件,表哥事件,突尼斯事件启示,网络“是民主的滥觞，是自由的海洋；是专制的死敌，是独裁的噩梦。”最近的突尼斯和埃及发生的事件印证了这个看法。 自去年底，一场看似突如其来的变革席卷了突尼斯这个北非小国。失业大学生自焚引发蝴蝶效应：执政23年的总统出走，政府瓦解，权利真空，暴力升级。这场被称为“茉莉花革命”的结局是：1月17日，突尼斯总理加
6、努希宣布，突尼斯民族团结政府正式成立。执政党宪政民主联盟（RCD）仍有大量成员在新政府中担任要职，除加努希本人继续担任总理外，国防、内政、财政及外交部长均得以留任；而主要反对党的领导人也获得部分职位。新政府还成立了 “政治改革高级委员会”、“清算贪污腐败和行贿受贿行为全国委员会”和“清算近期滥用职权行为全国委员会”三个专门委员会，宣布了一系列改革措施和重要决定，其中包括立即释放所有在押政治犯、立即承认所有政党的合法地位等,突尼斯事件启示,回顾这场突如其来的政局动荡，这个曾被认为是“平安无事”的北非小国一夜间土崩瓦解。为何在这么短暂的时间内突发这样的风云变幻？互联网在其中扮演了不可忽略的重要作用
7、。这作用首先表现在网络对于贪腐政权的揭露上。不少普通民众最初获取关于突尼斯前总统本阿里贪污腐败的信息多来自“维基解密”网站。该网站大量公开的文件，使得关于本阿里家族的各种腐败说法在民间广为流传，反政府情绪迅速蔓延。此前，民众对本阿里家族的腐败已早有耳闻，“维基解密”暴露出来的细节最终促使他们走上街头，推翻本阿里政权。其次则表现在网络的联络作用上。除“维基解密”网站外，社交网站脸谱在这场群众运动中又扮演了联络和发布平台的作用。新加坡联合早报的数据显示，突尼斯脸谱的用户群庞大，每10个人当中就有一人拥有账号。当地时间21日发生的是为游行活动正式通过脸谱组织起来的成功范例。在突尼斯，年轻人通过非常重
8、要的信息网络联络彼此，24小时不间断！在过去，如果你想组织一场抗议游行，必须到不同的地方，像大学、研究所这类地方散播信息。但是，之后，脸谱消除了这些障碍，在脸谱上，人们都是彼此的朋友。这样，如果你有2000个朋友，我有2000个朋友，这2000个朋友各有2000个朋友，这样信息就非常非常迅速地传播了。 也就是因为这个缘故，所以，在突尼斯政局突变之前，该国政府对当地新闻媒体严格管制。然而短短几天内，网站上便出现了大量的用手机、相机及DV拍摄下的游行现场画面，不少当地人承认，网络媒体在这场政局突变中起到了推波助澜的作用。,突尼斯的政变告诉我们：在互联网飞速发展、信息高度膨胀的时代，网络已经成为一个
9、国家发生政治巨变的有力推手。网络的迅猛发展使得民众的知情权和凝聚力得到空前释放推特每天都会发布数百万条信息，YouTube上每分钟都会上传10个小时的视频。任何一个普通公民都可以成为信息的发布者和传播者。”自媒体时代we-media”,自媒体时代,自媒体时代是指以个人传播为主，以现代化、电子化手段，向不特定的大多数或者特定的单个人传递规范性及非规范性信息的媒介时代，人人都有麦克风，人人都是记者，人人都是新闻传播者。这种媒介基础凭借其交互性、自主性的特征，使得新闻自由度显著提高，传媒生态发生了前所未有的转变。 在互联网上，每一个账号，都像一个小小的媒体。发帖子、转微博、评新闻信息、观点、态度便汇
10、入了互联网的比特之海。自媒体自我的小媒体，在近5亿网民、3亿微博的努力之下，焕发出巨大能量：境内50余家微博客网站，每天更新帖文达2亿多条。 从郭美美的名牌手袋到故宫破碎的瓷盘，在进行舆论监督、反映社情民意上，自媒体发挥着重要作用。据统计，在2010年舆情热度靠前的50起重大舆情案例中，微博首发的有11起，占到了22%,网上多媒体数据与现实的关系,30,网上多媒体数据-事件结构化表示,结构化：怎么理解？,31,语 义 学 习,群 体 智 能,网上多媒体数据-事件结构化表示,32,4. 多媒体技术简介,多媒体技术简介,术语“多媒体”的理解 研究问题与技术 典型应用 多媒体技术的技术内涵,术语 “
11、multimedia”的理解,Multimedia means, from the users perspective, that computer information can be represented through audio and/or video, in addition to text,image,graphics and animation.,Multimedia = multiple + medium ?,Medium is generally described as a means for distribution and presentation of infor
12、mation.,-for example, text, image, graphics, speech, music, video, ,术语 “multimedia”的理解,Media can be classified with respect to different criteria,术语 “multimedia”的理解,多媒体技术不是各种信息媒体的简单复合.它是一种把文本(Text)、图形(Graphics)、图像(Images)、动画(Animation)和声音(Sound)等形式的信息结合在一起，并通过计算机进行综合处理和控制，能支持完成一系列交互式操作的信息技术. 多媒体技术有以
13、下几个主要特点：集成性 、控制性 、交互性 、非线性 、实时性 信息使用的方便性 信息结构的动态性 “多媒体是一部永远读不完的书”,研究问题与技术,多媒体数据压缩,例子,An uncompressed video conforming to the PAL standard, 640*480 pixels/frame*3 bytes/pixels* 25 frames/s= 23,040000 bytes/s, half an hour of the video streams needs 41472, 000000 bytes,MPEG-1, MPEG-2, MPEG-4, H.26x, J
14、PEG, JPG2000，GSM, MP3 等,研究问题与技术,视频压缩编码标准的历史,研究问题与技术,多媒体内容分析与检索 基于内容的图像索引与检索 基于内容的音频信息索引与检索 基于内容的视频信息索引与检索 面向多媒体信息检索的高维数据的索引 用户与系统的交互查询模型 多模式信息融合与检索,研究问题与技术,超媒体与多媒体创作 （Hypertext and Multimedia Authoring）,多媒体通讯 （Multimedia Communication）,多媒体数字水印 (Multimedia Digital Watermarks）,虚拟现实与游戏 (Virtual Reality
15、 and Games),多媒多媒体内容分析与过滤,典型应用,娱乐digital TV, Games, digital Cinema,etc,办公Video phone, video conference, etc.,教育digital library, distance learning etc.,多媒体技术的技术内涵,多媒体技术是一门融合多学科领域的综合技术，它涉及广泛的研究问题与内容.,Information theory,Pattern recognition,Image Process&analysis,Networks,Audio Analysis,Graphics,Multimed
16、ia Technology,主流期刊和会议,Journals: IEEE Transactions on Multimedia IEEE Transactions on Circuits and System for Video Technology ACM Transactions on Multimedia Computing, Communications, and Applications Conferences: MM: ACM Multimedia ICME: IEEE International Conference on Multimedia&Expo WWW: ACM Int
17、ernational World Wide Web Conference ,44,5. 课程讲授内容和方式,本课程拟讲授的内容与方式,本课程主要是讲授探讨多媒体技术中的一个重要分支多媒体内容分析与检索，以及多媒体内容分析与过滤。 本课程针对文本、图片、视频、音频这四种基本的媒体类型，介绍相关的分析、索引与检索的基本技术。,课程内容,基于内容的图像检索、检索模型 文本特征及选择 图像的特征（颜色、形状和纹理） 相似性度量和性能评价 图像检索的相关反馈 视频内容结构化分析 关键帧提取 视频场景分析 新闻视频结构分析 视频检索的相关反馈 音频特征提取 音频内容分析分割与识别,本课程拟讲授的内容与方式
18、,本课程拟安排20%的课时以研讨的方式，结合讲授的内容讨论目前最新的研究动向，评价研究成果。 将采用多种作业方式，来强化训练、培养学生的综合科研素质，如编程实现、文献阅读与综述报告、分组工程等。,6. 课程前的准备,学习本课程的准备,本课程是一门高级专业综合课，学习过以下课程都会对本课程学习大有帮助。,程序设计技能是本课程强烈要求的. 如何你对C+以及MATLAB均知之甚少或一无所知，你需要花2至4周的时间认真自学一下它们的基础知识。,图像处理与分析、计算机视觉、数字信号处理、语音信号处理、多媒体技术、模式识别、机器学习,7. 成绩评定,成绩评定,分组编程作业 15%,课堂发言 5%,期末卷面
19、 60%,课堂出席率 10%,文献阅读报告 10%,8. 建议与我的联系方式,建议与我的联系方式,建议,Accomplish various assignments independently, carefully, actively.,Practice what you have learned from the lectures actively using VC+ and/or matlab.,我的联系方式,email ： 助教 If you have any suggestions, pls. email to me,态度决定一切,多媒体分析的一些演示,队员跟踪,多媒体分析的一些演示,球跟踪,多媒体分析的一些演示,多目标跟踪,多媒体分析的一些演示,球衣号码检测,多媒体分析的一些演示,足球场地检测,多媒体分析的一些演示,音频分类,多媒体分析的一些演示,多媒体分析的一些演示,精彩排序,精彩排序,精彩摘要演示系统,Visual Query Suggestion,
