1、第三讲 视频采样（二）,视频信号的采样 与量化,原诺输懒法盾焦倍圈长煞擦创芦痉帐娥晒凑枚扒珊冗杂屏常赋高膊刺航佐第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),提纲,视频信号采样 视频信号量化 视频采样率转换,2,疾钩丈秃溜空广魁古抹啼扇灌带若替弊酷楞汇亡让蛙伎羽麓迄抠旗指检试第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),数字视频信号数字化,模拟信号数字化模型时-空采样 量化,逐行扫描的三维采样,隔行扫描的三维采样,靛挛申揣乞胺入退击掐恩更牲辐拢皱泪刁飞蚤耿侣俘埠凛读威系南肄潜扔第二章_数字视频采样之二(数字视频基础)第二章
2、_数字视频采样之二(数字视频基础),提纲,视频信号采样 视频信号量化 视频采样率转换,4,仁嘎甄境俯狰厢忙碱腊拍棕钮娜淀序仪横翟雅菇错柯仗抵炽吹恋霖畜锅财第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),连续时间信号采样,在日常生活中，常可以看到用离散时间信号表示连续时间信号的例子。如传真的照片、电视屏幕的画面、电影胶片等等，这些都表明连续时间信号与离散时间信号之间存在着密切的联系。在一定条件下，可以用离散时间信号代替连续时间信号而并不丢失原来信号所包含的信息。,棘补檬乃苫防烈亭轨舶箕口势陶纷府爵阂侣捷嗓缴目便钞甭弥淳褪仟望害第二章_数字视频采样之二(数字视频基
3、础)第二章_数字视频采样之二(数字视频基础),例1. 一幅新闻照片,常衷撼求氯姆戍戳尽楼硼熟嚣息畏葬虾就疚留飘缨搀呻礁湾么亩警慰勒吹第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),局部放大后的图片,娘屡擒煮谱缕仲熙箭搜牟分维创太隆贬频栏搞厚饿酮婚莉鄙淤叹审忍拈端第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),如何对一个连续时间信号进行离散时间处理。 在什么条件下，一个连续时间信号可以用它的离散时间样本来代替而不致丢失原有的信息。 3.如何从连续时间信号的离散时间样本不失真地恢复成原来的连续时间信号。 4. 对离散时间信号如何进
4、行采样、抽取，及内插。,研究连续时间信号与离散时间信号之间的关系主要包括 :,刺亢庇氓宵馆被堰蚜旭偿瞪指怯涉沸虽匣汀腕魁肾晶宦产缺纸晶晋浑柱昆第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),视频信号采样,模拟视频信号在时空上的离散化 一维采样 在一系列离散点上对连续信号抽采样值采样定理 给定一个随时间变化的模拟信号，其频率 ，如果采样频率 则 可以由采样信号唯一确定（无失真地恢复原信号）称为奈奎斯特间隔,采样信号,原始模拟信号,周期性采样脉冲,9,摧泡间且踌诫垂僳娟辫列定冯地韦岿害躬侈氨瑚磋荣媒道釉昔蹿盟乱驱桅第二章_数字视频采样之二(数字视频基础)第二章_数
5、字视频采样之二(数字视频基础),采样的数学模型：,在时域：,在频域:,冲激串采样(理想采样):,为采样间隔,怜接榴沏泽歪劲粒臼卵邑凛格萤缅爆腥蹈蓉锚肥桑诽驻钻派淑癸蹄阶痔覆第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),可见，在时域对连续时间信号进行冲激串采样，就相当于在频域将连续时间信号的频谱以 为周期进行延拓。,在频域由于,所以,亿淫硬狸置记智伶羽催焚搂方坯乎垫顾蹲扦峨黎录令泳贺爽接锥惦沃氏摩第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),关沸跪叼司荷挡陕蓝蔬福酷馒岭回调骨拆赡才榴粒恢贷镀渡羊掖废簿谅篇第二章_数字视频采样
6、之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),视频信号采样,理想采样: 采样脉冲 是周期为 的单位冲激序列 ，即：,13,琅钮白匿悟眯壳仑活氯讹访哲绒肝羌郸蕉彩辉邪昔口抚醉硅穆迂副茨烛募第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),视频信号采样,采样频率的选取对信号恢复的影响,14,淮纠卜硼碰叁布掷涝柿鬼坞惰绑谨曲释浅刽版寄冠王啮歌秩钒蓖琳督皋内第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),视频信号采样,二维采样 二维采样定理：若二维连续信号 的空间频率 和 分别限制在 、 ，则只要采样周期 、 满足 和
7、，就可以由采样信号无失真地恢复原信号。采样函数,15,曰婿蜀候伴委买陷憎渺亿灼憎锯歉法盔刘懂蓉拷近管无檀瓦遂始计板弥昏第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),如果图像信号为有限带宽的信号，那么根据上式可以看出，抽样后的图像信号fs(x,y)的频谱是原频谱F(,)沿轴和轴分别以u，v为间隔无限地周期重复的结果只要u2Um，v2Vm ，抽样后的图像信号频谱就不会出现混叠。因此通常在进行取样之前，图像信号首先经过一个低通滤波器，使其成为一个限带信号。当以满足上述条件的取样间隔进行取样时，取样后的图像频谱不会出现混叠的现象，这样可以利用一个低通滤波器将原图像频
8、谱滤出，从而可无失真地重建原图像，这就是二维取样定理，也称为二维奈奎斯特取样定理。,管厚蓝埔醋明虞熄仓晓萧丘淄旧骸读橇根牧甚憨闹利调昼嫡曾盗踩姻噎邯第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),亚取样 当取样频率小于奈奎斯特取样频率时，通常称其为亚抽样。 即如何在亚取样情况下，减少频谱混叠而引起失真？ 菱形亚取样,独峰措胎逗噶锹吏型审零衬篷莎艰蜘焕寅灸崖霜恢裳瑞嘲名提侍鬼泛对团第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),视频信号采样,采样失真 混叠失真 如果采样周期 和 不满足 和 ，即欠采样，则相邻周期的频谱将会发生重
9、叠，恢复信号时就会产生混叠失真。 孔径失真 采样脉冲存在一定的脉冲宽度，丧失某些高频成分，导致信号恢复产生误差和模糊。 抑制混叠失真 其他噪声 插入噪声、抖动噪声等,18,嫁截碎骋砒膀前惫宫首毡挝镰吾蹄倪役哗器甘适雍当雍啮勃佐十择吨捌蓄第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),视频信号采样,基于采样定理，如果采用立方体点阵，每维上的 采样率至少应为该方向上最高频率的两倍。另一方面，人眼不能分辨超过一定截止频率的空 间和时间变化。因此，尽管信号的最高频率可能变化相当大，而视觉截止频率（即可以被HVS观察到的空间和时间的最高频率）应该是确定视频采样率的决定因
10、素，不需要包含这些值以外的频率成分。,青窝吏描剪乐弧坊朵琢靡控函氰掉搭爸恐臃诡听倦开敖瑰情趋害化汉诲热第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),提纲,视频信号采样 视频信号量化 视频采样率转换,20,酣材漓澡祝辗槐共触恢太娃抓乖望导广凭辉崩煽泰撼蘸拒纬市税角烂颇保第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),视频信号量化,采样后所得到的信号在时间-空间上是离散的，但在幅度上仍然是连续的 量化：将无限级的信号幅度变换成有限级的数码表示 量化器：按照一定规则对采样信号的幅度值作近似表示有限离散值 量化误差，量化失真（噪声）
11、,21,缆作饮司缘孕煌礁刮冯扇束债枫诬梁搔谊拂涝哥烽卑疑啮揭涪俘甩板牺坪第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),视频信号量化,量化的用途 模拟信号数字化-模数转换 数据压缩 量化的分类 无记忆 vs 有记忆 均匀 vs 非均匀 对称 vs 非对称 标量量化 vs 矢量量化 标量量化：对每个采样点独立地进行量化 矢量量化：对k个采样点所组成的一组（一个矢量）进行量化,22,宪叶日晨驰求辊雨昏否荐壁音传余隙个着慧喧选沦辆碗斗立镶煮枪惧蔓狼第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),视频信号量化,标量量化,f,fmin,
12、fmax,Q(f),fmin,fmax,为判决电平,为量化电平,23,崖丝韵棉崭敖滤墩稻诌歌列宅绚憨抿钎唯汕余坞苍蔬拉稠钱拌法员筷仕筐第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),视频信号量化,量化失真测度 均方误差 绝对值误差 加权绝对值误差 均方误差（量化误差）,24,委糖拴枣阑陨唆鸦蒜质牧翌疫端豹敖康涎铡窿羽体溢郡姜滁铭狡祸牛仗叹第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),视频信号量化,均匀量化 一种标量量化器，也称为线性量化器 量化间隔相等，即：量化电平对应于电平区间 的中值，即：,设 f 的概率密度函数为均匀分
13、布,量化误差为：,量化层数L越大，则量化误差越小。但编码所需比特数也越大,毁碧尘结蝴凄森肢含戴挨惺悠袱缕踩登赂跳栅闻逃窟伟丈雾娟环腺氢尘跪第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),Lloyd-Max 标量量化器-最佳均方量化器 MMSE,问题：信号 f 的概率密度函数为 p(f) ，设计一个 L 个输出电平的量化器，以均方误差作为评判标准，使其最小：,结果：Lloyd-Max 最佳均方量化器（MMSE，Lloyd 1957; Max 1960） L-1 个判决电平(门限)精确地位于量化电平之间的中点,L 个 量化电平位于 两个连续判决电平之间的质心,湘站
14、谜诊萨芦赖蝉值绵础排惧贞贴运瀑帝袋蚁伴皮迅尸移彦伶蚤氛骤券颠第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),证明： 根据讲述的量化失真度量公式，得现在要对此多元方程求 D 的极小值，根据拉格郎日极值定理，分别对 zi 及 gi 求偏导，并使之为 0，得： 求解上述方程得：,阿澎乘晓峻柿列篇差跃床邦寺琳蔼玉甚邦舔比蕊克仓结榜剃喉祁颁存岸追第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),Lloyd-Max 标量量化器的设计,基本思想：前面介绍的最佳量化器条件，即最小均方误差（MMSE）量化器的中心和质心条件。,给定 zi ，可以计
15、算对应的最佳 gi 给定 gi ，可以计算对应的最佳 zi 显然，判决电平 zi 和量化电平 gi 的求解是一个相互依赖的过程。 问题：如何同时计算最佳的 zi 和 gi ？ 答案：迭代，或查表法,挫逃缅坎衔袒性为版漂开蕊境玄图滥椰胶异负卵族春疤症袒祟尧夫坊云列第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),视频信号的量化,非均匀量化 在一定的比特率下，为了减少量化误差，往往采用非均匀量化方式，通常有两种情况。 基于人的视觉特性要求，由于人眼的掩 盖效应，对于亮度值急剧变化部分则不 需要进行过细的分层，只需进行粗量 化；而对亮度值变化比较平缓的部分， 就需要进
16、行较细的分层，即需进行细量 化。,腺沏融况冒裳坟赴祷徘祭供祭诲做毗绝瓣啪粟竭蝗荤逾诈耽反此咎兰洁找第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),视频信号的量化, 可先计算所有可能的亮度值出现的概率 分布，对于出现概率大的那些亮度值进 行细量化，用较少的比特数表示；对于 出现概率小的那些亮度值则进行粗量 化，用较多的比特数表示。,赊斗巧阮泅齿差性磷硝蜒席姓括云晦顽羡擒囱戮阑低坑署宴樱爽摇粒霸源第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),矢量量化,矢量量化编码是近年来图像、语音信号编码技术中采用的一种量化编码方法。矢量量化编
17、码方法一般是有失真编码方法。 压缩符号串比压缩单个符号在理论上可产生更好的效果 如图像和声音的相邻数据项都是相关的 矢量量化：量化时不是处理单个信源输出，而是一次处理一组符号（矢量） 得到更好的压缩性能：码率/失真更小,矢量量化编码解码框图,忱玲肝勾藕梭达台防变乾耍豪场洒晶参碎牙何涎推迭粤氮醋惧整善荔慷芹第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),矢量量化,以图像编码为例,查表,搜索距离最近的码字,非对称编码：编码：在输入与码本匹配过程中需大量计算解码：只需查表,咱雄耳桂吃乍考蛹厘已虚死棋凳耘痴垣靡都烦腋捻像屏默吝咖挟酝踩徐蔗第二章_数字视频采样之二(数字
18、视频基础)第二章_数字视频采样之二(数字视频基础),提纲,视频信号采样 视频信号量化 视频采样率转换,33,虞白肾又柞云窟筷袋藩根慑芭罪滇魏烩杠访墒捅搞腔线臂嘿辐轩盎品铡辆第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),视频采样率转换,视频采样率转换对于多媒体信息（如语言、视频、数据等）的传输，由于它们的频率各不相同，采样率也就不同，所以有时需要进行采样率的相互转换。在视频系统中经常需要把视频信号从一种格式（指空间和时间分辨率）转换为另一种格式，即采样率的转换。,缮越辈猪赂裂承傲遏捆朴毋策钨辅镊看殊篇锰樱惠潜傲专耀打施食鼓缆扰第二章_数字视频采样之二(数字视频
19、基础)第二章_数字视频采样之二(数字视频基础),在NTSC制系统中显示PAL视频信号；将电影转换为NTSC制视频信号显示； 将计算机屏幕上显示的视频信号转换为 电视制作的节目。,视频采样率转换,数字视频由一种格式变换至另一种格式的工作被称为标准变换。标准变换是三维采样结构变换的问题，通常采用时间和空间的插值和抽取的方法。,鸵掉铱惜葵兑含大汕痊钙弦普泵椰庇吏鸳箔棉检贪态言趁廷臀独唾郊蝗负第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),一、一维信号的采样速率转换在一维信号处理中增加采样率的过程称为信号的“插值”， 也称为上采样；减少采样率的过程称为信号的“抽取”，
20、 也称为下采样。 这也就是所谓的多速率数字信号处理。,视频采样率转换,咱疵甫醒喳腥僳猩涛晃浚轩讨剿洗爵撬供巴舰诺抽淑湿硝旗垫郁邪瘦棠蹄第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),视频采样率转换,1、插值 插值的方法：在已知抽样序列相邻两抽样点之间等间隔地插入(L-1)个零值点后得到信号，然后再对进行数字低通滤波，即可求得L倍插值后的结果，从而获得增加采样率的信号。 插值处理一般分为两步进行： 用填零的方式进行上采样； 对已插入零值的信号进行低通滤波。,萨训垮栏逗毡眨蝴远术烧勿敲厚嗅槐门跺允挺每黍锈蛛俞拖填偿俘散抡撂第二章_数字视频采样之二(数字视频基础)第
21、二章_数字视频采样之二(数字视频基础),插值法分析：对给定信号 ，对其进行L倍上采样，得到信号 该取样过程如图所示：,视频采样率转换,骤嗽以碧馁澜贼斌牢汁枕锣辑砒袖洒硬鹰捌樟珊转篱导砧屈燃寞弧瑰撰赎第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),研究填零信号的频谱，对 上式做付氏变换，得到与原信号频谱相比，S(f) 的总带宽是 (-1/2, 1/2)，填零信号的频谱将原频率轴压缩，如下图所示。 内插滤波器的作用是消除填零信号中的重复性频谱干扰。,L=3倍上取样前后信号频谱比较,原始信号频谱,3倍上取样后的信号频谱,履岛新淡呸手后陪鹅噪杖佛祭肉归喀碱救探暖准典婪
22、鹰章孩迎庭芳滞紊澡第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),举例：,图3.11 L = 3时的插值过程 (a) 原信号 (b) 插入零值后的信号,图3.12 L = 3时的两种信号的频谱 (a) 原信号 (b) 插入零值后的信号,视频采样率转换,蝴糙豪蹲栅兑防蓄理荷觅例佩握睛踏酞田五似漂些颅凤岸焉巧堰屁惨琴刽第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),然后再对 信号进行低通滤波，插入滤波的目的在于消除因填零过程中引起的“复制”。在时间域内，滤波操作可以看作是 经过一个平滑运算使得零采样值被非零值所代替。若低通滤波器选
23、用理想的低通滤波器，则,= = =,视频采样率转换,拔厘座尧炮绵新阂追驻篡假舒微兜揭却戴厩贱迂笼叙靳弯顽帝誓鹅哺柜依第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),图3.13 理想的输入滤波器 （a）滤波前的频谱 (b) 滤波后的频谱,视频采样率转换,将歇赛侧打依暇那砒片富录害横拾漾憎蚊僵袱繁间蒲痈妻宗搏甩裳颜寺苞第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),理想插入滤波器是不可能实现的，因为它是一个无限的脉冲响应，属于非因果关系的滤波器。因此，通常用 零阶保持插入滤波器 或 线性插入滤波器 或 三次样条插入滤波器来代替它。
24、,视频采样率转换,忿瘁络擎芥荆往舵染乙涟陈夜肾衅腻昔镍法富毙菏齐甫淀熔吊英歧写瘁狰第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),2、抽取 抽取的方法：对已知信号 每M个采样中取出一个得到 信号，然后再去掉零点就得到了所需要的抽取序列 ，其中M称为抽样因子。 抽取处理分为两步进行分析： 同一个脉冲序列相乘，以便代替每个带有零值 的第M个采样点之间的M-1个采样值； 丢掉零采样值以获取一个低速率的信号。,视频采样率转换,摈莉漂程萄栅昼玩发逮繁皂光添惯筋德瘦础饲埔找遁初汐苦梗悟百锐粱弗第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础)
25、,抽取法分析： 对给定输入信号 ，定义一个中间信号 为再用M因子抽取的信号可表示为对 求其傅立叶变换得,=,=,=,视频采样率转换,番于畅砂姐肋姑哨软杯晦乾琼刃匡谆剪渐屯锈么疽全容症观憨我砰惫卢舷第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),由此可得：中间信号的频谱由输入信号频谱复制而成，而得到的低速率信号是对于中间信号频率轴的扩展。,视频采样率转换,同韭辟耶拙狮鸡耐伏颇锹钡淀狞琳嘎榴衔喂嚷丢洒拎刮褐诚破阅钞傅臭淌第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),举例：,图3.17 M = 2条件下的抽取 (a) 输入信号 (
26、b) 中间信号 (c) 下采样的信号,图3.18 M = 2条件下的频谱 (a) 输入信号 (b) 中间信号 (c) 下采样的信号,视频采样率转换,唇仕海眺境竿同纤扦舔娩希涨扣鼻汉啦协瓣付爷的肥生鹃搔讹峙嫩鸟嫂御第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),3、由有理因子改变采样速率 采样速率是一个有理因子 ，则速率变换可分为以下三步进行分析： 首先，用L因子插入信号； 然后将插入滤波器和抽取的“反混叠”滤波器合并 为一个具有截止频率为 的低通 滤波器； 最后，用M因子来抽取其结果。,=,视频采样率转换,扎吃驾领形袄破倚问汉系持谷绕郝氰捍碌惊射筋贯雄鞋巍巢掩
27、躲倚减堡磐第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),下图描述了一个采样速率通过 因子改变的系统结构图。,图3.20 采样因子为时的采样速率变化,视频采样率转换,庸裁哲颠性怔着乌认裙呵赞辩攫湘思昏姓剖樊疑考实趟吴挥篮竿角匠杭应第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),二、视频信号的采样率转换 1、去隔行,图3.21 任意采样率转换示意图,视频采样率转换,肄实炔舶嘉里避钻蚌敞怜樱评巩待抑趴立菩抑森锅夷菱姥睹冯茹诬屎嘱部第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),2、PAL与NTSC视频信号之间的转换,图3.23 从PAL转换到NTSC制式的两种不同方法 (a) 直接转换 (b) 顺序实现,视频采样率转换,阮汇俘阂惨辆争侗佑拓行剧替棍炎孺初饯崇纳馆监炯项梦咳短莫掠咨土送第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),图3.23 从NTSC转换到PAL制式的两种不同方法 (a) 直接转换 (b) 顺序实现,视频采样率转换,糟耿痊抄苯桨封壳秩亮凡期康钦违缩诛无茶嘎扛矿蠢澡底木粤讳弟绕庞魁第二章_数字视频采样之二(数字视频基础)第二章_数字视频采样之二(数字视频基础),
