面向节能的图像颜色优化研究硕士研究生学位论文

浙江大学硕士学位论文 摘要硕士学位论文面向节能的图像颜色优化研究摘要在目前的桌面电脑和移动设备当中，显示器所占用的电能功率消耗比例分别达38%和50%，因此节能显示技术的研究，特别是在延长移动设备电池持续供电时间等方面有着十分迫切的需求。从技术上讲，显示内容的节能显示主要可以从硬件和软件方面进行。在对显示器节能和图像处理相关方法进行了综述的基础上，本文从软件处理角度出发，围绕图像的节能显示优化设计的问题展开了研究，并提出了一种基于节能的图像自适应亮度优化方法。该方法首先用双边滤波对图像进行去噪，然后通过Sobel边界检测算子从图像中获取显著边界作为图像主要特征，随后构造特征重要性场，用于指导图像的特征增强，并实现自适应亮度优化。该方法在应用于图像亮度降低时，可以在保持特征分辨能力的同时获得节能显示的效果。继而，本文描述了一个实现上述图像处理方法的软件原型，并提供基本的图像处理操作，方便用户对方法的参数调节进行预览，并对处理结果进行分析比较。最后，本文将上述方法应用于一般图像进行了实例测试，并做了简单的用户研究，结果表明该方法能够在相同节能效率下更好地保持图像中的感知特征。关键词：节能，颜色优化，视觉感知，边界检测i浙江大学硕士学位论文 AbstractAbstractIn the commodity desktop computers and mobile devices, the monitor consumes relatively 38%50% electrical energy of the total consumption. Thus, designing an energy saving scheme is very essential, especially in extending power supply of the mobile device battery. Technically, energy saving display can be achieved by both hardware and software solutions. In this thesis, we conduct a study on image brightness optimization problems for energy saving display based on the survey on energy-saving schemes and image edge detection. In particular, we propose an adaptive dimming approach for display energy saving. In this approach, bilateral filtering is performed upon the original image firstly to smooth the noise while preserving evident features. Then we construct a saliency map by extracting edge features from the image using Sobel operator. The saliency map describes the region of interest which plays an important role in users understanding of an image. In the optimizing process, we perform a saliency guided feature enhancement by using the saliency map. With the proposed approach, we can generate a dimmed image which can be displayed with less energy consumption. Additionally, we describe a software prototype which implements our method and some elemental image operations. Users can preview the intermediate results while they are tuning the relevant parameters, as well as analysis and comparing of the results.We apply our approach on several applications, including map images and natual images. A pilot user study demonstrate that our approach achieve better performance in preserving perception-based features in the dimmed images than uniform dimming under the same energy consumption.Keywords：Energy saving, Color optimization, Visual perception, Edge detection ii浙江大学硕士学位论文 目录目录摘要iAbstractii第1章 绪论11.1 课题背景11.2 显示器节能显示相关方法31.3 图像颜色与亮度优化51.4 本章小结61.5 内容安排7第2章 研究中需要的工具综述82.1 图像亮度优化82.2 图像边界检测102.2.1 边界检测的基本步骤112.2.2 边界检测算法112.2.3 边界检测算法比较13第3章 基于节能的图像颜色优化算法研究163.1 方法研究目标163.2 方法技术细节163.2.1 基于双边滤波的图像降噪处理173.2.2 特征检测及特征重要性场构造193.2.3 基于特征重要性场的图像优化233.3 图像处理原型软件263.3.1 需求分析263.3.2 主界面和交互设计263.3.3 基本处理功能的实现283.3.4 图像自适应亮度优化的实现313.4 本章小结32第4章 实验结果与分析344.1 实验结果344.2 性能统计404.3 用户研究404.3.1 实验设计414.3.2 实验过程414.3.3 实验结果414.3.4 讨论分析424.4 本章小结43第5章 总结与展望445.1 本文工作总结445.2 未来工作展望44参考文献46致谢49II浙江大学硕士学位论文 表目录图目录图 11 OLED显示屏2图 12 OLED显示器对于红、绿、蓝纯色的功率消耗曲线4图 21 图像亮度调节实例10图 22不同边缘检测算子的离散形式（图像卷积算子）13图 23不同边缘检测算子结果对比14图 31 图像自适应亮度优化算法的流程图（字母表示本章中所用符号）17图 32 双边滤波效果19图 33 本小节使用的示例输入图像20图 34 PBA算法得到示例图像的边界图像的距离场，像素亮度表示距离边界像素的欧式距离21图 35 示例图像的特征场示意图，及文中各参数的含义22图 36 示例图像的特征重要性场22图 37 一个实际图像的特征场构建过程23图 38 对示例图像进行自适应亮度优化的结果示意图，注意到图像中元素边界部分的对比度相比于原图像的变化25图 39 对图 37中实例图像进行自适应亮度优化的结果示意图25图 310原型软件的功能模块图26图 311 图像处理原型软件的主界面27图 312 图像处理原型软件的“自适应亮度优化”选项卡中的参数与命令28图 313 图像通道选择界面29图 314 图形亮度和对比度调节界面31图 315 图像自适应亮度优化操作界面32图 41 方法应用到普通图像的结果对比35图 42 方法应用到地图图像的结果对比36图 43 在游戏场景中使用深度图进行自适应亮度优化的结果对比38图 44 不同参数配置对结果的影响39图 45 可视搜索任务的平均完成时间和标准差42图 51 三菱OLED大屏显示系统45表目录表格 1处理不同分辨率图像时的性能统计（时间单位：毫秒）40II浙江大学硕士学位论文第2章 研究中需要的工具综述第1章 绪论1.1 课题背景液晶显示器，或称LCD（Liquid Crystal Display），是一种平面超薄的显示设备，它由一定数量的彩色或黑白像素组成，放置于光源或者反射面前方。液晶显示屏是用于数字型钟表和许多便携式计算机的一种显示器类型。它的主要原理是以电流刺激液晶分子产生点、线、面配合背部灯管构成画面。LCD显示使用了两片极化材料，在它们之间是液体水晶溶液。电流通过该液体时会使水晶重新排列，造成光线透过率的变化。液晶显示器（LCD）作为科技含量高的技术，正朝着轻、薄、短、小的目标发展。在便于携带与运输的前提下，传统的显示方式如CRT显像管显示器及LED显示板等，皆受制于体积过大或耗电量过大等因素，无法适应使用者的实际需求的提高。而液晶显示技术的发展正好切合目前信息产品的潮流，无论是直角显示、低耗电量、体积小、还是零辐射等液晶显示屏优点，都能让使用者享受最佳的视觉环境。在目前的桌面电脑和移动设备当中，显示器所占用的电能功率消耗比例分别达38%和50%1,2，因此节能显示技术的研究，特别是在延长移动设备电池持续供电时间等方面有着十分迫切的需求。TFT-LCD或LCD显示器是目前最流行的显示器，其主要技术是薄膜场效应晶体管，在给定一个白色背光光源的基础上，通过改变每个像素中颜色单元的透光率获得不同颜色的显示。当透光率为0时，屏幕会显示为黑色，然而由于工艺的问题，这类显示器产品通常会存在漏光的现象。TFT-LCD显示器的主要电能消耗用于维持背光光源的亮度，因此整体的功率消耗也主要由背光的亮度及其制造工艺决定。一般来说，通过合理地降低背光光源的亮度可以实现LCD显示器的节能显示。最近几年，一种新的基于有机发光二极管（organic lighting-emitting diode, OLED）的显示器（以下简称OLED显示器，见图1.1）则通过像素中的颜色单元自发光的形式显示颜色，因此就避免了使用背光光源3。当屏幕面板不显示任何内容时，像素不会被通电，因而不消耗电能。OLED显示器采用非常薄的有机材料涂层和玻璃基板，当电流通过时，有机材料就会发光。由于OLED显示器具的像素是自发光的，因此OLED显示器具有很多特点，其显示屏幕的可视角度几乎可以达到极限，屏幕黑色显示非常纯正，因此OLED显示器具备了许多传统LCD显示器不可比拟的优势。OLED 显示器通过调节每个像素中红、绿、蓝三种单色发光单元的亮度以显示不同的颜色，因此其功率的消耗实际上和每个像素的颜色相关，相当于不同的显示内容会产生不同的功率消耗。在图像处理与应用程序的颜色设计中，可以通过调节优化图像颜色成分或选取更节能的颜色模式的方式实现节能的显示。另外，OLED显示屏幕可以做得非常轻薄，甚至可以弯曲。图 11 OLED显示屏OLED 显示屏的节能概念悄然掀起，成为它最为吸引消费者眼球的亮点，也是近年来火爆增长的原因。目前市场对显示屏节能技术需求较大，OLED显示屏的进一步节能成为了行业追逐的支撑点。通过降低图像亮度或者调节优化图像颜色成分的手段都可以降低显示器的功率消耗。本文根据显示器的特性，实现了一种面向节能的图像亮度优化方法，通过对图像内容的特征增强方法补偿亮度降低后信息传递和图像质量的损失，从而实现一般图像特别是地理信息图像的节能显示。为了便于用户对方法中的参数调节产生的效果进行直观的预览和比较，本文也描述了一个实现上述图像处理方法的原型软件，并提供基本的图像处理操作，方便用户对方法的参数调节进行预览，并对处理结果进行比较。1.2 显示器节能显示相关方法在目前的桌面电脑和移动设备当中，显示器所占用的功率消耗比例分别高达38%和50% 1, 2。因此节能显示技术的研究，特别是在延长移动设备电池持续供电时间等方面有着十分迫切的需求。如果一台电脑拥有省电功能，每小时待机耗电约35W，约比一个一般亮度的灯泡稍高，尽管这一浪费对个人影响不大，但若全球所有的电脑长时间待机，每小时浪费的电量就非常惊人40。考虑到显示器占用了整个系统较高的耗电比例，因此显示器的节能问题十分重要。举个例子，著名的搜索引擎的主页面一般都非常简单，比如Google的页面是纯白色背景上的一个搜索框和少量链接。在一个OLED显示器上长时间显示时，其几乎需要最大的功率消耗，一个暗色或黑色背景的页面则可以有效地节约电能消耗。网站则仅提供了一个黑色背景的页面，通过链接的方式返回Google搜索结果，其主页宣称节约电能已达3800千瓦时。虽然数据的真实性可能是基于访问其页面的用户都使用了OLED显示器进行计算得到的，但也正说明了基于OLED显示器进行节能设计的重要性。目前，显示器的主要技术是基于薄膜场效应晶体管的液晶显示器（Thin Film Transistor Liquid Crystal Display, TFT-LCD），通过改变每个像素中颜色单元的透光率获得不同颜色的显示，因此其一般需要一个背光光源。TFT-LCD显示器在当前和过去的十几年中一直比较流行，大部分使用了冷阴极荧光灯作为背光光源为显示器提供背光照明。对于这类LCD显示器，由于背光光源的电能消耗在整个显示器系统中占绝对的优势，因此也就决定了其功率消耗相对恒定，主要与背光光源的电流呈正比的关系。随着技术进步，背光光源可以通过发光二极管产生。由于发光二极管提供了更加均匀的白色光源，亮度输出效率也比较高，因此使显示器获得更好的对比度和更均匀的亮度，在获得相同显示效果的前提下降低了显示器的功率。针对TFT-LCD 的一般节能措施通常是通过材料、制造等技术的提高增加像素的透光率，从而可以降低显示器的背光光源而降低显示功率4,5。Harter等人则提出将屏幕区域进行分块，每个分块区域内使用一个背光光源，显示器内建一个分区功率管理模块，通过对显示内容的分析实现分区域的背光功率调节，从而实现LCD显示器的节能显示6，不过这种方法需要对显示的图像内容进行颜色成分的分析，市场上具有这一技术的显示器比较少。最近，一种基于有机发光二极管（Organic lighting-emitting diode，OLED）的显示器通过像素中的颜色单元自发光的形式显示颜色，因此避免了使用背光光源 3。OLED显示器的功率消耗模型与其显示内容的颜色成分相关，可以通过对图像颜色与亮度的优化设计，达到显示内容的节能显示。OLED显示器的每个像素均包含了R（Red）、G（Green）、B（Blue）色彩模型中三个原色的发光单元，通过不同的亮度调节形成不同的颜色变化。Dong等人在文献8中给出了OLED显示器的一般功率消耗模型如下：其中，函数f(x)，g(x)和h(x)分别表示单个像素中，红、绿、蓝发光单元在亮度为x时候的功率值，E0表示显示器的基础功率，而L则表示显示内容图像的像素总量。也就是说，除了一个基础功率E0，OLED显示器的功率是所有像素独立功率的和。一个经过实际测量的、典型的OLED显示器的功率消耗曲线图如图1.2所示，其中不同的色调（红色、绿色、蓝色）的功率消耗不同8。图 12 OLED显示器对于红、绿、蓝纯色的功率消耗曲线OLED显示器的这个特性，使得针对其的节能显示方案的研究更加具有挑战和灵活性，因此Iyer等人直接通过降低用户交互界面中非活动窗口的亮度的方式，实现针对OLED显示器的节能显示 9。因为在一般的用户与系统进行界面交互的行为中，通常只对当前的活动窗口保持较高的注意力，而对其他非活动窗口几乎不关心，因此降低非活动窗口的亮度不会影响到用户交互行为。在硬件实现层次上，Shin等人受到传统背光功率管理模型的技术的启发，将其应用到了OLED 显示器中，并提出了动态电压调整（dynamic voltage scaling，DVS）的新技术，该技术允许在几乎不产生人眼感知差别的前提下，获得高达52.5% 的功率节约10。由于OLED显示器的显示功率和颜色直接相关，因此Dong 等人提出了一种基于贪婪算法的颜色映射的颜色设计方法，使得OLED显示器在显示用户交互界面的时候能获得电能消耗的最优化，并通过约束条件保证了用户交互效率，他们通过实验证明颜色映射方法在用户交互界面的应用中可以获得最高75%的功率节约8。另一方面，也有一些研究则根据用户的交互行为，采用了一些自适应的亮度调整方案。比如，Dalton等人提出了一种利用底层的人脸跟踪的方法，当用户离开显示器时自动降低其亮度或直接关闭显示器7。Moshnyaga等人则使用视频摄像头实现了类似的方法1。此外，线性地降低显示器亮度仍然被认为是一种节能显示的重要策略，然而这样可能会造成图像显示质量的下降，使得用户不容易分辨图像的重要内容，因此也需要从图像基础上解决这一问题。在这一领域一些学者提出了不少方法，比如通过增强自然图像的对比度的方法使得显示器亮度降低时图像质量的损失更少11。1.3 图像颜色与亮度优化图像处理，是对图像进行分析、加工和处理，使其满足视觉、心理以及其他要求的技术20,21,22。图像处理是信号处理在图像域上的一个应用。目前大多数的图像是以数字形式存储，因而图像处理很多情况下指数字图像处理。此外，基于光学理论的处理方法依然占有重要的地位。图像处理是信号处理的子类，图像处理一般指数字图像处理23,24。数字图像是指用数字摄像机、扫描仪等设备经过采样和数字化得到的一个大的二维数组，该数组的元素称为像素，其值为一整数，称为灰度值。常见的处理有图像数字化、图像编码、图像增强、图像复原、图像分割和图像分析等。传统的一维信号处理的方法和概念很多仍然可以直接应用在图像处理上，比如降噪、量化等。然而，图像属于二维信号，和一维信号相比，它有自己特殊的一面，处理的方式和角度也有所不同。图像处理技术的主要内容包括图像压缩，增强和复原，匹配、描述和识别3个部分。常见的处理有图像数字化、图像编码、图像增强、图像复原、图像分割和图像分析等。图像处理一般指数字图像处理。近年来，随着科技的发展和人们生活水平的提高，数码产品尤其是数码相机得到了广泛应用。由于各种各样的原因，人们经常会拍摄到一些曝光不足、效果不好的照片，因此需要有一种方法，可以提高照片的质量以满足人们的需求。早期的一些亮度调整的算法过于简单，自动调整的效果并不是很理想，稍后也出现了一些较为复杂的算法，但其计算的复杂度相对较高，且需要一定的用户交互，使用不够方便。图像亮度调整算法经历了一个从简单到复杂、从整体到局部的过程。研究自动快速的图像增强算法，特别是自适应的亮度调整算法有非常重要的理论和现实意义。早期的亮度调整算法如直方图定制14、增益2偏差调整(Gain2offset)15等算子处理局部，这些算法大都使用一个类似于函数的全局色调映射函数非线性地拉伸图像亮度，使得图像整体对比度得到增强，从生理学角度讲，人类的感知能力与外界的刺激对数成比例，因此这些调整算法都是在亮度的对数域上进行操作。但该类算法一般需要相对复杂的参数设置16 或用户交互17，使用不够方便；另外由于图像不同区域之间存在一定的制约关系，采用全局映射函数往往需要牺牲高亮区域的对比度来增强欠曝区域的对比度，从而导致曝光充分区域的对比度有所降低，以致丢失原图中所具有的亮度层次感，这是全局映射算子的共有缺点。鉴于全局算子的上述缺点，近几年一些学者提出了基于梯度域的亮度调整算法。Fattal等人19在处理高动态范围图像时基于交互指定区域的亮度理想值构造调整后图像的梯度约束18，使得结果图像的梯度与给定约束尽可能一致，从而求得图像亮度. Perez等人26借助梯度域的处理方法，可以无缝地将一幅图像中的区域组合到另一幅图像中。1.4 本章小结综上所述，目前在图像的节能显示处理方面，存在一些尚未解决的颜色设计与亮度优化问题。本文主要面向OLED显示器，对图像的基于节能的自适应亮度优化进行了相关研究，提出并实现图像的自适应亮度优化算法。基于节能的自适应亮度优化以图像作为输入，实时生成亮度优化的图像结果，该方法对一般图像在OLED显示器显示具有节能效果，此外该方法对于普通图像或地图在取得节能显示效果的同时，具有一定的感知特征增强效果。本文主要采用客观实验和用户测试的方法实现面向节能的图像颜色和亮度优化方法。本文所使用的实验数据包括一般图像和具有重要信息的二维地图图像。为了方便用户使用本文提出的算法进行图像处理，并对图像处理结果进行比较与保存操作，本文设计并实现了一个通用的图像处理原型软件，提供图像处理的基本操作，并集成本文提出的图像自适应亮度优化算法。该软件接受一般图像文件的读取，允许用户对图像进行基本的操作（如亮度/对比度的调整、图像结果保存等），并方便用户对图像处理过程中参数调节等操作进行实时的预览。1.5 内容安排本文的主要内容安排如下：第2章综述了本文研究中用到的图像处理相关的工具；第3章详细描述了基于节能的图像亮度自适应优化方法，并描述了一个配合方法使用验证的图像处理软件原型的交互界面和技术实现；第4章介绍了本文的方法在一般图像上进行的实验并展示了实验结果和用户研究。最后，本文第5章进行了总结与展望。第2章 研究中需要的工具综述本章对论文研究所需要的理论工具作一个综述，包括图像亮度优化、图像边界检测等核心图像处理算法35。2.1 图像亮度优化图像的亮度调整，如欠曝光图像调整和高清晰图像(HDR)的处理有很大的相似之处，如果我们将HDR图像线性变化为普通低动态范围图像，得到的结果跟欠曝光的图像非常相似36。Tumblin27等最早提出了色调映射的问题，即如何在动态范围比较小的设备上显示高动态范围的图像。他们根据人眼对亮度和对比度的敏感程度，提出了一个全局映射函数。接着Larson等16根据直方图，提出了一种改进的直方图定制方法，可以更充分地利用亮度的动态范围。同时避免普通直方图定制中产生的平坦区域被拉伸的问题38。Dargo等人19在03年欧洲图形学年会上提出了自适应的log映射方法，作为全局映射算子，可以方便有效地进行色调映射。Reinhard等人18根据摄影中的“dodge and burning”技术在02年Siggraph上提出了一种类似的色调映射方法。最近几年，梯度域上的处理方法变得非常流行。该方法并不是直接对像素的亮度值进行操作，而是间接地在梯度域上进行控制和约束。在给出梯度域上的约束后，反求图像，使得图像的梯度与给定的梯度约束尽可能一致37。该方法最早由Fattal等人19在高动态范围的图像处理中提出，先对图像的梯度进行多尺度变换，然后反求出亮度映射后的图像。Preze等人26借助梯度域的处理方法，可以无缝地将一个图像中的区域粘贴到另一个图像中去。Adobe公司的Healing Brush也用到了类似的技术。Agarwala等人25先后将梯度域处理应用到了图像和视频的合成(Panorama)中去。除了图像和视频的合成，梯度域处理方法还有很广泛的应用。例如本质图的恢复，阴影的去除，闪光照片瑕疵的去除，图像的色调迁移，alpha matting等。梯度域问题是在灰度图像上进行处理的，将每个像素的亮度值看作一个未知变量，整个图像就可以看作一个未知向量x。问题一般可以描述为：求解x，使得x的垂直梯度和水平梯度跟给定的Ix，Iy最吻合。Ix，Iy的给定根据不同的应用可以有不同的方法。例如，将图像A的一块区域复制到图像B，区域内部的梯度是来自复制的图像块，而边界上的颜色则固定为B中对应点的颜色。而在梯度域的HDR处理中，则是多尺度地改变原始的梯度，根据初始梯度的大小，相应地进行放缩。梯度域问题一般最后可以抽象为一个过约束问题（如泊松方程），假设X是n维向量，那么就有n个未知量(每个像素对应一个变量)，由于每个像素上有垂直和水平梯度的双重约束，分别对应两个线性方程，那么一共有2n个线性方程，可以表示为：A是2n*n维矩阵，很显然这是一个过约束问题，一般情况下，不存在满足上式的解。通常的方法是求一个近似解，使得(Ax-b)的绝对值最小化，该近似解满足下面的方程：由于ATA是稀疏的带状方阵，每行最多5个非零元素，可以证明这样的线性方程组是可以求解的。由于上述线性方程组中方程数较多，通常达到几百万，相应地系数矩阵ATA中元素的个数会达到万亿的数量级，要对这样的矩阵求逆是非常困难的，所以一般采用用迭代法求解。通常用的方法是共轭梯度法。由于在内部循环处理了ATAx的计算，而ATA相当于一个拉普拉斯算子，所以系数矩阵ATA不需要显式地存储下来，大大减小了算法对内存的需求。快速求解这一问题有非常重要的现实意义，有不少工作研究了其快速求解。Szeliski最近提出了一个基于预计算的共轭梯度法，可以很大程度上加快共轭梯度法的收敛速度，不过他们的算法对内存的需求比较大。Agawala25等在2007年Siggraph上提出了一种近似求解部分梯度域问题的方法，大大降低了内存需求与计算时间。但是该方法有一定的局限性，只能处理部分的梯度域问题，如泊松图像合成或Panorama等具有较好的初始解仅需在边界上进行优化的问题。图 21展示了亮度调节对图像质量的影响，直接降低图像的亮度会潜在地造成图像中信息的损失，如图 21(b)所示。 (a) 原始图像 (b) 亮度降低之后的结果图 21 图像亮度调节实例2.2 图像边界检测边界检测是图像处理领域的重要内容之一，是进行模式识别和图像信息提取的基本手段28。一方面，图像的边界往往对应于生成图像的物理世界中对象的重要特征，也是图像分割所依赖的重要特征；另一方面，边界检测使图像处理的数据量大大减少，有利于后续的特征提取和模式识别，因此对边界检测算法的研究得到了广泛的关注。边界检测是图像分割、目标区域识别、区域形状提取等图像分析领域十分重要的基础, 是图像识别中提取图像特征的一个重要内容。图像理解和分析的第一步往往就是边界检测，目前它已成为机器视觉研究领域最活跃的课题之一，在工程应用中占有十分重要的地位。本文提出的图像自适应亮度优化方法的第一个步骤也是通过边界检测获得图像的重要特征区域。图像的边界是图像的基本特征。所谓边界是指其周围像素灰度有阶跃变化或屋顶变化的那些像素的集合。边界广泛地存在于物体与背景之间、物体与物体之间、基元与基元之间，它的存在是灰度不连续造成的。即使很简单的景物中也包含着大量的细节，在图像中表现为强度的非连续性。由于边界检测的重要性, 人们提出了许多适用于不同场合的边界检测算法39。然而，在实际图像处理中，精确检测边界具有相当的难度。对于自然图像，检测的主要困难在于这些变化发生在一个很宽的尺度范围内。如果分别地看每个图像的像素，就会发现像素之间的灰度级在变化。实际图像中的大多数边界是锐边，其灰度变化是由少量像素的陡变组成。还有一些边界是模糊的，其对应的灰度变化是大量的像素值缓慢改变引起的，这些不同类型的灰度变化在图像中是不可分的。2.2.1 边界检测的基本步骤边界检测的基本步骤包括滤波、增强、检测和定位。1）边界检测算法主要是基于图像强度的一阶和二阶导数，但导数的计算对噪声敏感，因此必须使用滤波器来改善与噪声有关的边界检测器的性能；2）增强边界的基础是确定图像各点邻域强度的变化值，增强算法可以将邻域强度值有显著变化的点突出显示出来，边界增强一般是通过计算梯度模来完成的；3）在图像中有许多点的梯度模比较大，而这些点在特定的应用领域中并不是边界，所有应该用某种方法确定哪些点是边界，其中最简单的边界检测判断是梯度模阀值判断；4）如果某一应用场合要求确定边界位置，则边界的位置在子像素分辨率上来估计，边界的方位也可以被估计出来。2.2.2 边界检测算法物体的边界是由灰度的不连续性所反映的。经典的边界检测方法是考察图像的每个像素的某个邻域内灰度的变化，利用边界邻近一阶或二阶导数变化规律，用简单的方法检测边界，这种方法称为边界检测局部算子法。两个具有不同灰度值的相邻区域之间总存在边界，边界是灰度值不连续的表现，其是原图像上灰度变化最剧烈的地方。传统的边界检测正是利用了这一点，对图像的各个像素进行一阶微分或二阶微分确定边界像素点。在图像处理中一般用小区域的模版卷积来近似图像梯度。通常是对二维图像的x方向y方向分别用不同的模板，这两个模板组合起来可以构成一个梯度算子。图像处理发展到今天人们已经提出了很多算子，其中一阶导数算子Roberts29、Prewitt30、Sobel31和二阶导数算子Laplacian32等4种是最为常用的图像边界检测算子。构造这些算子的基本思想是统一的，它们的区别主要是模板的大小和元素值的不同。l Roberts算子Roberts算子是最古老的算子之一，是一种交差差分算子。由于它只使用当前像素的2*2邻域，是最简单的梯度算子，所以计算非常简单。Roberts算子计算时利用的像素数一共有4个，可以用模板对应4个像素与模板相应的元素相乘相加得到。Roberts算子边界定位准，然而主要缺点是其对噪声的高度敏感性，原因在于仅使用了很少几个像素来近似梯度，适用于边界明显而且噪声较少的图像分割。l Prewitt算子上述Roberts算子的模板是2*2的，比较常见的还有3*3的模板，例如Prewitt算子。对于3*3的卷积掩模，在8个可能方向估计梯度，具有最大梯度模的卷积给出梯度方向。近似图像函数一阶导数的算子由于具有确定梯度方向的能力，有时被称作罗盘算子。对于每个算子我们只给出前面三个3*3掩模，其他的可以通过简单旋转得到。Prewitt算子进行计算时要用到9个像素。对于每一个方向的梯度，可以用模板对应的9个像素与模板相应的元素相乘相加得到，其计算过程与Roberts算子相似。Prewitt算子对噪声有抑制作用，抑制噪声的原理是通过像素平均。但是像素平均相当于对图像的低通滤波，所以Prewitt算子对边界的定位不如Roberts算子。l Sobel算子采用梯度微分锐化图像，同时会使噪声、条纹等得到增强，Sobel算子则在一定程度上克服了这个问题。Sobel算子不像普通梯度算子那样用两个像素的差值，这就使Sobel算子具备了两个优点：首先，由于引入了平均因素，因而对图像中的随机噪声有一定的平滑作用；其次，由于它是相隔两行或两列之差分，故边界两侧元素得到了增强，边界显得粗而亮。Sobel算子的模板也是3*3的，只是它的模板元素与Prewitt算子有所不同。Sobel算子和Prewitt算子都是加权平均，但是Sobel算子认为，邻域的像素对当前像素产生的影响不是等价的，而在Prewitt算子中像素邻域对当前像素产生的影响是等价的。Sobel算子根据邻域像素与当前像素的距离有不同的权值，一般是距离越小，权值越大。Sobel算子通常用于水平和垂直边界的一个简单检测算子。l Laplacian算子为了突出增强图像中的孤立点、孤立线或孤立端点，在某些实际用途中常采用Laplacian算子，这个算子是旋转不变算子。之前的这些算子都是一阶导数算子，在图像处理中经常使用的还有二阶导数算子，例如Laplacian算子就是二阶微分算子。可以认为二阶导数是一阶导数的导数，也就是差分的差分。Laplacian算子就利用了二阶导数信息。Laplacian算子是近似地只给出梯度模的二阶导数的流行方法，通常使用3*3的掩模，根据邻域不同可以分为4邻域和8邻域。Laplacian算子对于边界是敏感的。一般增强技术对于陡峭的边界和缓慢变化的边界很难确定其边界线的位置，此算子可以用二次微分正峰和负峰之间的过零点来确定。Laplacian算子对噪声比较敏感，所以图像一般先经过平滑处理。因为平滑处理也是用模板进行的，所以，通常的分割算法都是把Laplacian算子和平滑算子结合起来生成一个新的模板。Laplace算子有一个缺点是它对图像中的某些边界产生双重响应。下图展示了四个算子的离散形式。在实际实现中，图像的每个像素与这些卷积核逐个进行卷积，生成图像边界检测的结果图像。Roberts算子（x, y方向） Prewitt算子（x, y方向）Laplacian算子 Sobel算子（x, y方向）图 22不同边缘检测算子的离散形式（图像卷积算子）2.2.3 边界检测算法比较从加法的角度来看，Roberts算子的运算速度较快，从乘法的角度看Laplacian算子的运算速度较快。Roberts算子对边界定位比较准，所以分割结果的边界宽度比Prewitt分割的窄。但是Roberts算子由于不包括平滑，对噪声比较敏感，在图像噪声较少的情况下，分割的结果还是相当不错的。Prewitt算子有一定的抗噪能力。但是这种抗噪能力是通过像素平均来实现的，相当于低通滤波，所以图像有一定模糊。Sobel算子对噪声有抑制作用，因此不会出现很多孤立的边界像素点。不过Sobel算子对边界的定位不是很准确，图像的边界宽度往往不止一个像素，不适合对边界定位的准确性要求很高的应用。与Prewitt相似，Sobel算子也是通过像素平均来实现的，也有一定的抗噪能力，同时图像也产生了一定的模糊。由于Laplacian算子利用的是二阶导数信息，对噪声比较敏感，所以分割结果中在一些像素上出现了散碎的边界像素点。不过Laplacian算子对边界的定位还是比较准的。 (a) 原图 (b) Roberts算子检测结果 (c) Prewitt 算子检测结果 (d) Sobel算子检测结果(e) Laplacian算子检测结果图 23不同边缘检测算子结果对比在图像处理中，边界检测有着非常重要的作用，是图像处理的重要基础。本节中讨论和比较了几种常用的边界检测算子，一阶导数算子Roberts、Prewitt、Sobel和二阶导数算子Laplacian等4种常用的图像边界检测算子。Prewitt算子和Sobel算子都是一阶的微分算子，而前者是平均滤波，后者是加权平均滤波且检测的图像边界可能大于2个像素，这两者对灰度渐变低噪声的图像有较好的检测效果，但对于混合多复杂噪声的图像，处理效果则不理想。如图 23所示，Roberts边界检测的图像纹理较清楚,但整个图像过于模糊。Sobel边界检测和Prewitt 边界检测效果相似,轮廓清楚,但纹理有待提高。Laplacian边界检测的效果较为适中，但其采用二阶导数形式，因此极易受到噪声的影响。综合考虑各种边界检测算子的特点，本文采用Sobel边界检测算子获得图像的重要边界特征及特征区域。15浙江大学硕士学位论文第3章 基于节能的图像颜色优化算法研究第3章 基于节能的图像颜色优化算法研究3.1 方法研究目标正如在绪论中提到的，传统显示器节能的硬件实现方法需要对显示内容的图像处理进行配合，通过获取图像内容的亮度分布进行分析，而最直接的方法就是线性地均匀降低图像的整体亮度，这样就能获得直接的节能效果。更复杂的颜色映射和颜色优化的方法则可以用于OLED 显示器的节能显示，不过亮度降低方法仍然是目前最有效、最实用的节能策略，同样适用于OLED显示器进行节能展示。将图像的亮度降低的实现主要分为两种，一种是由软件降低显示内容的亮度后，然后设备根据显示内容进行动态的调整背光的亮度，从而实现动态的显示器功耗管理；另一种则是自动或人为地降低显示器的亮度，输入的显示内容本身不进行处理，比如在移动电子设备上，目前几乎所有的手机都支持环境光自动感应而进行亮度调整。前者节能技术一般依赖于显示图像的内容像素的强度，当显示图像整体亮度比较均匀且具有较高的亮度时，此类方法所获得的节能效率是非常有限的。因此，通过算法调整输入的图像的亮度，可以获得额外的能量节约。但是，简单地线性降低显示图像内容的亮度，可能会造成图像质量的下降，使得用户不容易分辨图像重要内容，因此也需要从图像基础上解决这一问题。本章主要提出了一种通过分析图像的重要特征，自适应的进行图像亮度优化的方法。最新的OLED显示器由于每个像素都可以独立的显示颜色，因此对显示内容即图像的颜色和亮度修改就能直接获得不同的显示功率。针对节能显示的需求和OLED显示器的这一特点，本章提出的面向节能的图像颜色和亮度优化设计方法同样适用。与传统的图像增强方法不同，本方法确保在图像亮度被降低以节能显示的同时，保持图像内容的重要特征以便于用户的理解。3.2 方法技术细节传统LCD显示器节能显示的方法中，降低显示内容亮度的方法仍是非常有效的方法之一，能获得最直接的节能效果。本文从图像处理角度出发，为避免图像的亮度降低后信息表达和显示质量的损失，通过边界特征检测的方法获得图像内容的重要特征，然后通过构建图像的特征重要性场的方式，指导图像的自适应亮度与颜色的优化，最终生成适合OLED显示器节能显示的优化图像。本文采用的整体设计方案如下：首先，使用双边滤波对图像进行边界特征保持的降噪处理，以消除一些无用的非特征细节和干扰噪声；继而，使用Sobel算子对降噪后图像进行边界检测，并计算边界的距离场，然后通过合适的变换获得图像的特征重要性场，描述每个像素在用户理解图像时的重要性；最后，根据特征重要性场指导图像进行自适应的亮度降低优化，得到适合OLED显示器节能显示的优化图像结果。本文实现的图像自适应亮度优化算法设计流程如（图 31）所示，在下述内容中我们具体介绍各个环节。图 31 图像自适应亮度优化算法的流程图（字母表示本章中所用符号）3.2.1 基于双边滤波的图像降噪处理通常，用户通过对图像的认识主要基于对图像主要特征的感知与理解。一般而言，图像的主要特征可以用图像中的抽象边界等特征进行描述，图像中具有较高颜色、亮度或对比度变化的区域都是用户认识图像的重要区域。在图像中，与颜色或亮度变化相关一些特征通常在人对图像内容的认识和理解中起到非常重要的作用，这些特征在图像处理领域一般被称为边界或边缘，因此边界检测是图像处理和计算机视觉中，尤其是特征提取中的一个重要研究内容。边界检测是图像处理和计算机视觉中的基本问题，边界检测的目的是标识数字图像中亮度变化明显的像素。图像属性中的显著变化通常反映了属性的重要事件和变化，包括（i）深度上的不连续、（ii）表面方向不连续、（iii）物质属性变化和（iv）场景照明变化等。图像边界检测大幅度地减少了数据量，并且剔除了可以认为不相关的信息，保留了图像重要的结构属性。有许多方法用于边界检测，它们的绝大部分可以划分为两类：基于查找一类和基于零穿越的一类。基于查找的方法通过寻找图像一阶导数中的最大和最小值来检测边界，通常是将边界定位在梯度最大的方向。基于零穿越的方法通过寻找图像二阶导数零穿越来寻找边界，通常是Laplacian过零点或者非线性差分表示的过零点。然而在实际图像处理中，非特征细节与噪声的存在会干扰算法对图像边界的检测和提取，因此本文首先对图像进行基于双边滤波的特征抽象处理。特征抽象是一个典型的图像处理算法，通过抑制图像中的非特征区域而保留特征细节的方式，使得图像特征能更加方便的被捕捉。受一些图像特征抽象工作12的启发，我们采用了双边滤波的方法对图像进行抽象。双边滤波13是一种非线性的图像滤波算法。从定义上，双边滤波组合了两种不同性质的滤波方法，即低通滤波(low-pass filtering)和范围滤波(range filtering)，分别对应了图像处理中的空域滤波和值域滤波，因此双边滤波是一种边界保持的去噪方法，能够平滑图像中非特征区域的同时保持其中重要的边界信息。对于给定的灰度图像I，双边滤波定义为：其中，其中W(p)是归一化因子，N(p)表示像素p的邻域像素的集合，s和c分别表示空域滤波半径和值域滤波半径，G是高斯核函数。实际的输入图像一般是彩色的，在本章方法中，为了避免不同的颜色在转换为灰度图像后具有相同的灰度，采用对红、绿、蓝三个通道分别进行双边滤波，最后合成的方式实现彩色图像的双边滤波。运用双边滤波之后，图像会呈现出一种保留重要结构信息的绘画卡通的风格，如图 32所示。(a) 输入图像(b) 2次双边滤波算子迭代后的输出图像图 32 双边滤波效果3.2.2 特征检测及特征重要性场构造对于一个图像，用户通常根据图像的特征边界信息对图像的内容进行理解和认识。然而，传统的边界检测算法一般只能返回二值的结果，即指示当前的像素是否属于边界。从数据分析的角度，这样的结果虽然能够定位重要的边界信息，却丢失了所返回边界所在图像区域的其他像素的特征性重要程度描述。在本文方案中，我们仍然认为边界信息属于重要的特征信息，且边界邻域像素则提供了同样有意义的上下文信息。因此，我们在提取图像的边界场信息后，根据像素与边界的位置关系构造图像的特征重要性场，用以描述图像中像素的特征性。经过双边滤波处理后的图像很好地保留了图像的边界和区域信息，并且抑制了原有图像的非特征细节和噪声，是对图像的一种保特征抽象。在本小节中，为便于理解及清楚表述各图像处理环节的参数及中间结果，我们采用了如图 33所示的示例图片作为本节中的输入图像I。首先，我们采用Sobel边界检测算子14对双边滤波处理后的图像I进行处理，获得图像的边界场图像，记作E=Sobel(I)。为了后续的特征场构造，边界场图像E的每个元素被构造为一个三元组(Ix, Iy, b)，分别记录了图像的每个像素的梯度(Ix, Iy)和边界像素指示值b，其中b是根据给定阈值参数和梯度模的比较确定该像素是否为边界像素。虽然梯度模描述了图像中一个像素相对于周围像素的亮度变化，但是直接用梯度模构造特征场仍然会受到图像噪声的影响。在本文对于图像自适应亮度优化的方案中，为了降低图像噪声的影响，我们仅考虑图像的主要特征（边界）及其特征区域（边界附近的像素）。因此，我们通过边界距离场的某种变换描述并构造图像的特征场。为了加速图像边界距离场的计算，我们采用Cao等人提出的基于GPU的并行条带算法（PBA算法）33实现快速的距离场的计算，得到边界图像E的边界距离场，记作D=PBA(E)。其中PBA算法是一种精确计算图像距离场的算法，其算法复杂度仅与图像尺寸有关，而与边界像素的数量无关。同样，边界距离场D的每个元素也被构造为一个三元组(x, y, d)，分别记录距离每个像素最近的边界像素的位置坐标及其距离值。其中示例图像的边界距离场图像如图 34所示，亮度越低表示离边界像素距离越近。图 33 本小节使用的示例输入图像图 34 PBA算法得到示例图像的边界图像的距离场，像素亮度表示距离边界像素的欧式距离最后，我们对边界距离场D进行如下数学变换，获得图像的特征场S:其中Dd(p)表示像素p在距离场图像D中的离最近边界像素的距离值，W为一个宽度参数，表示该数学变换相对于边界像素的作用范围，用于控制特征区域的大小（如图 35）。在边界像素及其W宽度之内的区域，称为特征区域。S(p)表示像素p的特征性值，其值域为0,1，描述了该像素的特征表示能力，例如S(p)=1表示该像素是边界像素，在用户对图像的理解上具有最重要的作用，而S(p)=0表示该像素位于无变化的区域内。上述公式的求导在Dd(p)=W连续，保证了特征区域向非特征区域过渡的连续性。在这里，对于彩色图像则直接将其转换为灰度图像后进行特征边界检测和特征场计算。特征场相比于边界场的优势在于，它提供了每个像素所具有的特征重要性的连续数值表达，因此比较适合用于后期的图像优化处理。特征场描述了图像像素的特征表示能力。然而用户在图像理解过程中，对于处于边界特征两侧的图像内容会区别对待，本文采用特征重要性场描述这一行为。简单而言，特征重要性场被定义为一个有向的特征场，以区别对待边界两侧的区域。例如，由于像素明暗变化形成的一条边界，在边界一侧为明亮区域而另一侧为暗区域，那么将明亮区域定性为正值而暗区域定性为负值，则可以在后续的图像处理操作中方便的进行亮度优化。我们在图像的边界场E中保存了图像的梯度场Exy，在图像的距离场中保存了图像像素的最近边界像素Dxy。因此，我们将特征重要性场M定义如下，其中sign为求符号函数，p=Dxy(p)，是距离像素p的最近的边界像素。图 35示意了上述公式中各个参数的含义。因此，M(p)定义了一个有向的特征场，可以描述边界两侧不同的特征表现能力，所用示例图像的结果如图 36所示。图 35 示例图像的特征场示意图，及文中各参数的含义图 36 示例图像的特征重要性场图 37展示了从一个实际图像出发，构建特征重要性场的各个步骤。首先对输入图像进行双边滤波后，执行边缘检测，然后采用PBA生成距离场，进而构建出输入图像的特征重要性描述场。 (a) 原始输入图像 (b) 边缘检测结果 (c) PBA算法得到的距离场 (d) 特征重要性场图 37 一个实际图像的特征场构建过程3.2.3 基于特征重要性场的图像优化线性降低图像的亮度可以获得节能的显示效果，但同时也使得图像内容的可读性和图像质量下降，造成用户识别和理解的困难。根据前面对图像的处理，我们已经得到了图像的特征重要性场的图像，因此结合该数据可以指导一个自适应的图像亮度优化。本文的方案是在全局降低图像亮度的基础上，通过将边界两侧的像素根据特征重要性场进行自适应的亮度调整。同时，将原始图像与经过迭代双边滤波得到的图像结果进行融合后作为输入图