1、浙江大学硕士学位论文 摘要i面向节能的图像颜色优化研究 摘要在目前的桌面电脑和移动设备当中，显示器所占用的电能功率消耗比例分别达 38%和 50%，因此节能显示技术的研究，特别是在延长移动设备电池持续供电时间等方面有着十分迫切的需求。从技术上讲， 显示内容的节能显示主要可以从硬件和软件方面进行。在对显示器节能和图像处理相关方法进行了综述的基础上，本文从软件处理角度出发， 围绕图像的节能 显示优化设计的问题展开了研究，并提出了一种基于节能的图像自适应亮度优化方法。该方法首先用双边滤波对图像进行去噪，然后通过 Sobel 边界检测算子从图像中获取显著边界作 为图像主要特征，随后构造特征重要性场，用
2、于指导图像的特征增强，并 实现自适 应亮度优化。 该方法在应用于图像亮度降低时，可以在保持特征分辨能力的同时获得节能显示的效果。继而，本文描述了一个实现上述图像处理方法的软件原型，并提供基本的图像处理操作，方便用户对方法的参数调节进行预览，并对处理结果进行分析比较。最后，本文将上述方法应用于一般图像进行了实例测试，并做了简单的用户研究，结 果表明该方法能够 在相同节能效率下更好地保持图像中的感知特征。关键词：节能，颜色优化，视觉感知，边界检测浙江大学硕士学位论文 AbstractiiAbstractIn the commodity desktop computers and mobile de
3、vices, the monitor consumes relatively 38%50% electrical energy of the total consumption. Thus, designing an energy saving scheme is very essential, especially in extending power supply of the mobile device battery. Technically, energy saving display can be achieved by both hardware and software sol
4、utions. In this thesis, we conduct a study on image brightness optimization problems for energy saving display based on the survey on energy-saving schemes and image edge detection. In particular, we propose an adaptive dimming approach for display energy saving. In this approach, bilateral filterin
5、g is performed upon the original image firstly to smooth the noise while preserving evident features. Then we construct a saliency map by extracting edge features from the image using Sobel operator. The saliency map describes the region of interest which plays an important role in users understandi
6、ng of an image. In the optimizing process, we perform a saliency guided feature enhancement by using the saliency map. With the proposed approach, we can generate a dimmed image which can be displayed with less energy consumption. Additionally, we describe a software prototype which implements our m
7、ethod and some elemental image operations. Users can preview the intermediate results while they are tuning the relevant parameters, as well as analysis and comparing of the results.We apply our approach on several applications, including map images and natual images. A pilot user study demonstrate
8、that our approach achieve better performance in preserving perception-based features in the dimmed images than uniform dimming under the same energy consumption.Keywords：Energy saving, Color optimization, Visual perception, Edge detection 浙江大学硕士学位论文 目录I目录摘要 .iAbstract.ii第 1 章 绪论 .11.1 课题背景 .11.2 显示器
9、节能显示相关方法 .31.3 图像颜色与亮度优化 .51.4 本章小结 .61.5 内容安排 .7第 2 章 研究中需要的工具综述 .82.1 图像亮度优化 .82.2 图像边界检测 .102.2.1 边界检测的基本步骤 .112.2.2 边界检测算法 .112.2.3 边界检测算法比较 .13第 3 章 基于节能的图像颜色优化算法研究 .163.1 方法研究目标 .163.2 方法技术细节 .163.2.1 基于双边滤波的图像降噪处理 .173.2.2 特征检测及特征重要性场构造 .193.2.3 基于特征重要性场的图像优化 .233.3 图像处理原型软件 .263.3.1 需求分析 .26
10、3.3.2 主界面和交互设计 .263.3.3 基本处理功能的实现 .283.3.4 图像自适应亮度优化的实现 .313.4 本章小结 .32第 4 章 实验结果与分析 .344.1 实验结果 .344.2 性能统计 .404.3 用户研究 .40浙江大学硕士学位论文 目录II4.3.1 实验设计 .414.3.2 实验过程 .414.3.3 实验结果 .414.3.4 讨论分析 .424.4 本章小结 .43第 5 章 总结与展望 .445.1 本文工作总结 .445.2 未来工作展望 .44参考文献 .46致谢 .49浙江大学硕士学位论文 图目录I图目录图 1-1 OLED 显示屏 .2图
11、 1-2 OLED 显示器对于红、绿、蓝纯色的功率消耗曲线 .4图 2-1 图像亮度调节实例 .10图 2-2 不同边缘检测算子的离散形式（图像卷积算子） .13图 2-3 不同边缘检测算子结果对比 .14图 3-1 图像自适应亮度优化算法的流程图（字母表示本章中所用符号） .17图 3-2 双边滤波效果 .19图 3-3 本小节使用的示例输入图像 .20图 3-4 PBA 算法得到示例图像的边界图像的距离场，像素亮度表示距离边界像素的欧式距离 .21图 3-5 示例图像的特征场示意图，及文中各参数的含义 .22图 3-6 示例图像的特征重要性场 .22图 3-7 一个实际图像的特征场构建过程
12、 .23图 3-8 对示例图像进行自适应亮度优化的结果示意图，注意到图像中元素边界部分的对比度相比于原图像的变化 .25图 3-9 对图 3- 7 中实例图像进行自适应亮度优化的结果示意图 .25图 3-10 原型软件的功能模块图 .26图 3- 11 图像处理原型软件的主界面 .27图 3- 12 图像处理原型软件的“自适应亮度优化”选项卡中的参数与命令 28图 3- 13 图像通道选择界面 .29图 3-14 图形亮度和对比度调节界面 .31图 3-15 图像自适应亮度优化操作界面 .32图 4-1 方法应用到普通图像的结果对比 .35图 4-2 方法应用到地图图像的结果对比 .36图 4
13、-3 在游戏场景中使用深度图进行自适应亮度优化的结果对比 .38图 4-4 不同参数配置对结果的影响 .39图 4-5 可视搜索任务的平均完成时间和标准差 .42图 5-1 三菱 OLED 大屏显示系统 .45浙江大学硕士学位论文 表目录II表目录表格 1 处理不同分辨率图像时的性能统计（时间单位：毫秒） .40浙江大学硕士学位论文 第 2 章 研究中需要的工具综述1章 1 章 绪论1.1 课题背景液晶显示器，或称 LCD（Liquid Crystal Display），是一种平面超薄的显示设备，它由一定数量的彩色或黑白像素组成，放置于光源或者反射面前方。液晶显示屏是用于数字型钟表和许多便携式
14、计算机的一种显示器类型。它的主要原理是以电流刺激液晶分子产生点、线 、面配合背部灯管构成画面。 LCD 显示使用了两片极化材料，在它们之间是液体水晶溶液。电流通过该液体时会使水晶重新排列，造成光线透过率的变化。液晶 显示器（LCD）作为科技含量高的技术，正朝着轻、薄、短、小的目标发展。在便于携带与运输的前提下， 传统 的显示方式如 CRT 显像管显示器及 LED 显示板等，皆受制于体积过大或耗电 量过大等因素，无法适应使用者的实际需求的提高。而液晶显示技术的发展正好切合目前信息产品的潮流，无论是直角显示、低耗电量、体积小、还是零辐射等液晶 显示屏优点，都能让使用者享受最佳的视觉环境。在目前的桌
15、面电脑和移动设备当中，显示器所占用的电能功率消耗比例分别达 38%和 50%1,2，因此节能显示技术的研究，特别是在延长移动设备电池持续供电时间等方面有着十分迫切的需求。TFT-LCD 或 LCD 显示器是目前最流行的显示器，其主要技术是薄膜 场效应晶体管，在 给定一个白色背光光源的基础上，通过改变每个像素中颜色单元的透光率获得不同颜色的显示。当透光率为 0 时，屏幕会显示为黑色，然而由于工艺的问题， 这类显示器产品通常会存在漏光的现象。TFT-LCD 显示器的主要 电能消耗用于维持背光光源的亮度，因此整体的功率消耗也主要由背光的亮度及其制造工艺决定。一般来说，通过合理地降低背光光源的亮度可以
16、实现 LCD 显示器的节能显示。最近几年，一种新的基于有机发光二极管（organic lighting-emitting diode, OLED）的显示器（以下 简称 OLED 显示器， 见图 1.1）则通过像素中的颜色单元自发光的形式显示颜色，因此就避免了使用背光光源3。当屏幕面板不显示任何内容时，像素不会被通电，因而不消耗电能。OLED 显 示器采用非常薄的有机材料涂层和玻璃基板，当电流通过时，有机材料就会 发光。由于 OLED 显示器具的像素是自发光的，因此 OLED 显示器具有很多特点，其显示屏幕的可视角度几乎可以浙江大学硕士学位论文 第 2 章 研究中需要的工具综述2达到极限，屏幕黑
17、色显示非常纯正，因此 OLED 显示器具备了许多传统 LCD 显示器不可比拟的优势。OLED 显示器通过调节每个像素中红、绿、蓝三种单色发光单元的亮度以显示不同的颜色，因此其功率的消耗实际上和每个像素的颜色相关，相当于不同的显示内容会产生不同的功率消耗。在图像处理与应用程序的颜色设计中，可以通过调节优化图像颜色成分或选取更节能的颜色模式的方式实现节能的显示。另外，OLED 显示屏幕可以做得非常轻薄，甚至可以弯曲。图 1-1 OLED 显示屏OLED 显示屏的节能概念悄然掀起，成为它最为吸引消费者眼球的亮点，也是近年来火爆增长的原因。目前市场对显示屏节能技术需求较大，OLED 显示屏的进一步节能
18、成为了行业追逐的支撑点。通过降低图像亮度或者调节优化图像颜色成分的手段都可以降低显示器的功率消耗。本文根据显示器的特性，实现了一种面向节能的图像亮度优化方法，通过对图像内容的特征增强方法补偿亮度降低后信息传递和图像质量的损失，从而实现一般图像特别是地理信息图像的节能显示。为了便于用户对方法中的参数调节产生的效果进行直观的预览和比较，本文也描述了一个实现上述图像处理方法的原型软件，并提供基本的图像 处理操作，方便用 户对方法的参数调节进行预览，并对处理结果进行比较。浙江大学硕士学位论文 第 2 章 研究中需要的工具综述31.2 显示器节能显示相关方法在目前的桌面电脑和移动设备当中，显示器所占用的
19、功率消耗比例分别高达38%和 50% 1, 2。因此节 能显示技术的研究，特别是在延长移动设备电池持续供电时间等方面有着十分迫切的需求。如果一台电脑拥有省电功能，每小时待机耗电约 35W，约比一个一般亮度的灯泡稍高，尽管 这一浪费对个人影响不大，但若全球所有的电脑长时间待机，每小时浪费的电量就非常惊人40。考虑到显示器占用了整个系统较高的耗电比例，因此显示器的节能问题十分重要。举个例子，著名的搜索引擎的主页面一般都非常简单，比如 Google 的页面是纯白色背景上的一个搜索框和少量链接。在一个 OLED 显示器上长时间显示时，其几乎需要最大的功率消耗，一个暗色或黑色背景的页面则可以有效地节约电
20、能消耗。网站 则仅提供了一个黑色背景的页面，通过链接的方式返回 Google搜索结果，其主页宣称节约电能已达 3800 千瓦时。虽然数据的真实性可能是基于访问其页面的用户都使用了 OLED 显示器进行计算得到的，但也正说明了基于OLED 显示器 进行节能设计 的重要性。目前，显示器的主要技术是基于薄膜场效应晶体管的液晶显示器（Thin Film Transistor Liquid Crystal Display, TFT-LCD），通过改变每个像素中颜色单元的透光率获得不同颜色的显示，因此其一般需要一个背光光源。TFT-LCD 显示器在当前和过去的十几年中一直比较流行，大部分使用了冷阴极荧光灯
21、作为背光光源为显示器提供背光照明。对于 这类 LCD 显示器，由于背光光源的电能消耗在整个显示器系统中占绝对的优势，因此也就决定了其功率消耗相对恒定，主要与背光光源的电流呈正比的关系。随着技术进步，背光光源可以通过发光二极管产生。由于发光二极管提供了更加均匀的白色光源，亮度输出效率也比较高，因此使显示器获得更好的对比度和更均匀的亮度，在获得相同显示效果的前提下降低了显示器的功率。针对 TFT-LCD 的一般节能措施通常是通过材料、制造等技术的提高增加像素的透光率，从而可以降低显示器的背光光源而降低显示功率4,5。Harter等人则提出将屏幕区域进行分块，每个分块区域内使用一个背光光源，显示器内
22、建一个分区功率管理模块，通过对显示内容的分析实现分区域的背光功率调节，从而实现 LCD 显示器的节能显示6，不过这种方法需要对显示的图像内容进行颜色成分的分析，市场上具有这一技术的显示器比较少。最近，一种基于有机发光二极管（Organic lighting-emitting diode，OLED）的显浙江大学硕士学位论文 第 2 章 研究中需要的工具综述4示器通过像素中的颜色单元自发光的形式显示颜色，因此避免了使用背光光源 3。OLED 显示器的功率消耗模型与其显示内容的颜色成分相关，可以通过对图像颜色与亮度的优化设计，达到显示内容的节能显示。OLED 显示器的每个像素均包含了 R（Red）、
23、G（Green）、B（Blue）色彩模型中三个原色的 发光单元，通过不同的亮度调节形成不同的颜色变化。Dong 等人在文献8中给出了 OLED 显示器的一般功率消耗模型如下：其中，函数 f(x)，g(x)和 h(x)分别表示单个像素中，红、绿、蓝发光单元在亮度为 x时候的功率值，E 0 表示显 示器的基础功率，而 L 则 表示显示内容图像的像素总量。也就是说，除了一个基础功率 E0，OLED 显示器的功率是所有像素独立功率的和。一个经过实际测量的、典型的 OLED 显示器的功率消耗曲线图如图 1.2 所示，其中不同的色调（红色、绿色、蓝色）的功率消耗不同8。图 1-2 OLED 显示器对于红、 绿、蓝纯色的功率消耗曲 线OLED 显示器的 这个特性，使得针对其的节能显示方案的研究更加具有挑战和灵活性，因此 Iyer 等人直接通过降低用户交互界面中非活动窗口的亮度的方式，实现针对 OLED 显示器的 节能显示 9。因为在一般的用户与系统进行界面交互的行为中，通常只对当前的活动窗口保持较高的注意力，而对其他非活动窗口几乎不关心，因此降低非活动 窗口的亮度不会影响到用户交互行为。在硬件实现层次上，Shin 等人受到 传统 背光功率管理模型的技术 的启发，将其 应用到了 OLED 显示器中，并提出了动态电压调整（dynamic voltage scaling，DVS）的新技术，该技
