1、翻译：彩色转换摘要我们现在要介绍一种普适的方法，通过构建一幅作为颜色来源的彩色图（source）与一幅作为转移目标的灰度图（destination）之间的彩色转换，用来给灰度图进行着色。虽然面对如何能够将色度值加到灰度图中这一问题我们还没有一个准确客观彻底的解决方法，但是现在能够提供的是一个助于缩小实现该工程的工程量的方法。相比于从调色盘里选择RGB 颜色填到各个独立的色块，我们通过比较两个图像的亮度与纹理来转移色彩来源图(source)的全部颜色的“mood ”到目标图像。现在我们仅选择转移其中的彩色信息而保持目标图的亮度信息不变。而且，通过允许用户自己对比两幅图像的某些矩形块可以使程序的进
2、一步优化。我们认为当被提供了足够多的关于图像亮度与纹理的差异信息后，这个简单易懂的着色技术可以成功地运用于许多图像和视频领域。这种图像产生表明了我们提供的技术在各种不同应用领域中的巨大潜力与应用价值。关键词： 图像处理 着色 纹理合成 视频1， 介绍颜色分量可以被添加到灰度图像上用来增加图像的视觉感染力，诸如旧的黑白照片，经典电影或者科学插图。而且，通过发掘色度上与亮度上的变化，一些科学插图的信息内涵将会在感官上得到增强。给灰度图着色的工作涉及将每个像素的三维（RGB）分量值赋给一个只包含一个一维分量（亮度或光强度）的图。由于不同的颜色可能含有相同的亮度值，于是在色相和饱和度上会有不同，故给灰
3、度图着色存在一个没有所谓的正确结果的问题。正是由于存在这些棘手的事情，人的交互作用在着色过程中通常会充当一个很重要的角色。即使在这种自动标记亮度值到色度值的“假着色”情况，Gonzalez and Wintz 1987，彩色表的选择依旧主要取决于人的决定。由于大多数用于电影产业的着色软件是属于私有的，有关描述处理过程的细节技术的文章大多都没有公开。然而，一些网上的文章提及那些软件必须需要人对于每个独立的图像块进行手动着色。比如，某一款软件包上描述到图像先被多边形处理化了，因而用户可以对每一个个体图像组成部分进行着色就像一本图画书一样。然后系统跟踪画面和转移颜色的多边形轨迹来减少用户必须要手动着
4、色的图像数目。另外，照片可以通过照片编辑软件经过手动或自动的图片场景的组成选择来给图片着色。通过低透明度级别，这个区域然后被着以从调色板中选出的颜色。也有一些应用程序可以对可视化信息中的颜色使用，例如，Gonzalez and Wintz1987描述一个简单的途径来给机场X 光扫描后的行李箱产生的灰度图进行伪着色。这个方法为每个彩色通道使用分离转换，结果使得用彩色标记各种不同的物品，用明亮的橘黄色标记爆炸物的密度分布，用蓝色色调标记其他的物品。而且，颜色可以添加到一系列的科学图片中用来说明论证与进行教育。在医学领域，图像形态仅仅是灰度图像，比如磁共振成像（MRI）， X光和电脑断层扫描图像（C
5、T）的着色可以对展示的效果提升。伪着色是一种很普遍的技术，通常用于为类似于 X 光，磁共振成像，扫描电子显微镜成像以及那些图像成分中不存在彩色信息的灰度图片加以着色。Pratt 1991形容此项方法为一种“图像增强”技术，因为此技术可以用于“增强图片自身的细节检测能力”。此方法的基本形式是，伪着色时一种 T 转换（Pitas 1993），有 cxy= Tfxy，其中 fxy是原始的灰度图像，而 cxy是结果得到的 RGB 色度矢量式。此方法的一个简明的案例是对一个任意的彩色图的应用，将一个单独的总体的颜色矢量赋予到每个灰度分量上。这种方法的优势在于它并没有改变原始数据的任何信息，因为事实上我们
6、没有引进其他的数据信息。比如说，在一个伪着色后的磁共振成像（MRI）图中，虽然我们选取的颜色是随机的，但是这种密度与颜色的一一对应关系是存在的。然而，若是引用色图并不会使图像的亮度单一性得到增强，反而会导致一些视觉感知上的失真。研究已经发现面部图像的感知“真实性 与色图上的亮度的纯增加值有着很强的关联性Rogowitz and Kalvin 2001。我们建立的图像与图像之间的颜色转换概念是从 Reinhard 等人 2001年的关于两幅彩色图片的颜色转移的论述中得到启发。在他们的成果中，源图片（source）中的颜色通过一个简单但是出奇制胜的方式被转移到了另一幅彩色图片。这种基本算法匹配了图
7、像的三维色度值分布，然后转换了目标图像的色度分布来匹配源图像。而且，已用过的色彩样板可以用于两幅图之间其他相似的区域。在这个研究中，灰度图只被一个一维分量表示，因此两幅图之间只有亮度信道能被匹配。因为一个单独的亮度分量能代表一幅图像全部的不同部分，临近像素的统计被用于引导匹配的过程。当一个像素点被匹配，它的色彩信息将被移植，但是原始的亮度值会被保留。在相对复杂的情形下，一些样本可以用于帮助处理源图与目标图。当颜色在源图与目标色盘进行转换后，最终的颜色通过 L2 距离标准和灰度图与目标色盘的像素点匹配，再依次被分配给灰度图的每个像素点。因此，每个像素匹配点只是由在相同图像中的像素匹配决定的。我们
8、还发现了这些采样对于很多图像种类都有很好的效果。而且，这些方法都能很方便地延伸到视频领域。现在这个着色程序起初只是适用于视频序列中的单帧。其他的帧然后通过是用一个原始帧的着色色板来决定的。我们还发现其他的那些帧中，物体没有发生很明显的变化，着色的工作出其意料的顺利。2， 彩色转换算法在这一部分，我们描述彩色转换的核心算法；基本思想是扩展到样本的使用。主要的彩色转换的程序需要几个简单的步骤。首先，每幅图片要转换到 l 彩色空间。我们用抖动采样的方法筛选出一个彩色图中的像素的子集作为样本。然后，我们按扫描顺序检查灰度图中的每个像素点，然后用临近统计选出彩色图中的最佳匹配样本。最佳匹配的部分是通过平
9、均像素亮度的权值决定的。最佳匹配像素点的色度值（）然后需要把颜色转移给灰度图从而形成最后的图像。利用样本的彩色转换涉及到相同的全局图像匹配过程，但是仅仅局限于源图与目标图的样本。目标样本中染色后的像素点之后要被用于源像素点通过一种纹理合成方式来给剩下的没有着色的像素点着色。更多的细节和调整将在下面提及。2.1 全图匹配彩色图（源图）和灰度图（目标图）的图像都要被转变成去相关的 l 空间Ruderman et al. 1998以便于后面的分析。l 空间是为使色度空间坐标的三个坐标轴的相关度达到最小化而设计的。空间坐标提供了三个去相关的，主要的通道相当于一个消色差的亮度信道和两个色度信道 和 ，可
10、以粗糙反映黄-蓝和红-绿两个相对立的信道。因此，单色彩信道的改变可以最低限度地影响到其他信道的值的变化。l 彩色空间之所以被现有的程序引入的原因是它提供了一个去相关的非颜色的信道。这个可以允许我们有选择地从彩色图像到灰度图像中转换彩色信道 ，同时不需要交叉信道的模块。转换的程序得益于 Reinhard 等人2001.为了从源中转移色度分量到目标，每个灰度图的像素点必须要和一个彩色如的像素点相对应。比较是基于亮度分量和该像素点的邻近统计。亮度分量是由 l 空间的 l 信道决定的。为了解释两幅图全部亮度差异，我们需要执行一个亮度重测图Hertzmann et al. 2001。来线性的改变和观测源
11、图的亮度直方图以便于适应目标图的对应直方图。这个帮助了我们建立一个更好的两幅图间的亮度统一，但是没有改变目标图的亮度值。邻近统计是预先计算的，由邻近像素点的亮度标准偏差组成的。我们已经得知一个55 的邻近矩阵就足以在大部分的图像上十分有效了。对于某些有问题的图像我们会采取更大的邻近矩阵。既然大部分像素值的明显视觉差异变化归因于亮度差异，我们可以限制作为源彩色像素样本的数量同时仍获得一个重要的图像颜色差异范围。这个允许了我们去减少每个灰度图的像素点的比较数量，从而减少了估算时间。我们已经发现在随机的抖动的网格取大概200 个采样点就足够了。然后对于每一个按扫描线顺序的灰度图像像素点最佳的匹配颜色
12、样本基于亮度的平均权重为 50%和标准偏差权重为 50%被选出。我们还加入了邻近的平均，和改变其他权重的比率，但是在结果中没有发现比较大的偏差。一旦最佳的匹配像素点被找到， 和 彩色分量将被传输到目标像素中，而原始的亮度分量将被保留。这个自动的，全局匹配过程当相对应的彩色区域具有相近的亮度值时，反映到图像的效果比较给力。然而，目标图像的区域若和对应的源图区域没有一个比较近似的亮度关联，那么结果将不尽如人意。图示 2c 显示的是一个通过全图匹配的彩色转换结果。这里发现，天空和树木匹配的较好，然而目标图中的公路部分在源图中没有找到对应的匹配。2.2 手动采样为了提高结果质量同时使更多的用户参与到这
13、个彩色转换的过程中，手动采样将被用于两幅图片区域的进一步匹配。图 2a,b,d 阐明了基本的思想。首先是用自动匹配过程描述上述彩色转换信息。这个可以使得用户有选择的将目标图与源图之间的区域进行彩色转换。我们也期待利用个性的手动选择使得结果上的进一步完善，因为不同的彩色区域会有很少的亮度重叠。我们在自动匹配中做亮度重测，不仅仅是在相匹配的区域之间。而且，我们用随机的抖动采样在每个样本上大概有 50 个采样点。第二步类似于一个质地综合算法Efros and Leung 1999; Efros and Freeman 2001，在这篇文章中， L2 距离被用于寻找质地纹理的匹配。我们用灰度图临近的
14、Ng 和染色后的样本 Ns 之间的度量标准 L2 定义错误的距离 E，公式如下：这里的 I 是灰度图像，S 是染色后的样本的亮度分量，然后 P 是这些临近点的坐标。注意，眼下我们不再寻找彩色图来进行纹理匹配，仅仅是用来匹配目标图的着色后的样本。这一方法的优点是第一阶段我们有选择的把彩色转换到了样本中，防止了具有相近临近统计却是来自错误区域的像素点污染目标彩色样本。它也允许用户通过任何一个选择的区域进行彩色转换，虽然两个相匹配的区域在纹理与亮度级别上差异很大。另一方面，既然我们期待在一幅图内相比于两幅不同的图存在更多的纹理关联性，我们期待那些与着色后的目标彩色样本在纹理上有这相似性的像素点被相似
15、的着色。2.3 视频处理对于视频的彩色化处理可以利用上面描述的着色方案进行自动处理。为了使画面的每一帧进行着色，我们首先从源图中采集颜色，把它转换到一个单独的目标帧中。然后视频中的每一帧序列可以用在这个单独帧中同样的染好色的目标样本区域进行着色。如果这个单独的帧成功的着色了，那么包含相同物体的那些帧就会像这个单独的帧一样进行相似的着色处理。三个利用视频处理的例子将在之后提及。3处理结果图例 3 表明了该算法应用于图像领域的最终效果。图 3a-c 显示了着色后的叶子，人脸和风景图。该技术在那些图像被分割成许多亮度差异明显区域或者每一个图像区域都有明显的纹理差异的情形中应用效果十分突出。然而，总的
16、来说，当前的技术在人脸着色方面仍存在瓶颈。虽然颜色可以很好的在样本之间进行转换，但是 L2 并不是一个很好的尺度量用来区分皮肤和嘴唇，有时还包括衣服和头发的区别。图 3d-f 说明了该算法在不同的种类的科学数据中的应用。虽然这个技术起初不是用于临床诊断的医疗图像，但是它卓越的效果却可以令其应用于诸多相关领域，比如解剖学上的说明或者用于增强某些学术成果的展示效果。虽然我们说明了此算法在许多图像领域上的卓越效果，但我们无法保证该技术会在绝大多数的图像上效果依旧突出。首先应该澄清的是，我们的算法只是考虑一个像素点周围小范围的亮度分布，而这事实上很难判定这个点到底是属于哪一个纹理区域的。然而，通过高分
17、辨率的图像或者利用大范围的临近统计，我们能够得到更佳的结果。更进一步的说，我们也坚信在基本的算法的基础上，在一定高效的处理时间内利用更好的纹理区分算法，可以处理更多的图像。利用此算法在一台奔腾三 900Mhz 的处理器上利用 MATLAB 着色一张图的运行时间大概是从 14s 到 4 分钟不等。运行时间将取决于比较的采样点的个数，样本个数，临近统计的大小，和图片的大小。大多数的图还是能在一分钟之内完成着色的。4结论在这篇论文中，我们阐明了一种新的，通用的，迅速的以及友好的途径来解决灰度图片着色的问题。这项工作的标准解决方式是通过全部彩色图的匹配像素点与灰度图的像素点进行匹配，我们的此项技术允许
18、用户参与选择一个合适的彩色图像作为颜色采集，然后将该图像的颜色传递到灰度图中。我们有意地保持了算法的简单度，同时不要求图像之间的记录联系或者空间上的信息合并。我们的技术可以被用于更大规模的图片通过加入少量的用户指示。在这个模式下，用户首先从一系列指定的彩色图样本区域选取渴望得到的颜色到对应的灰度图区域中。然后，在之后的着色进程中，已经着色的样本被利用，通过一个纹理合成方式，来给灰度图中剩下的像素点着色。目前，L2 距离用于测量图像之间的纹理相似度。未来，我们相信该技术在更加复杂精确地纹理相似度的算法下将会得到更有实质性的进步。这项利用一个样本彩色图给一个灰度图填充颜色的技术对于需求日益增长的网络图像搜索引擎以及出现频率集中与可以索引的图像的收集是十分具有吸引力的。最后，我们也可以利用一个基本纹理样本的数据库，服务于在着色过程中用户指导平台的彩色转换。鸣谢此项工作由 NSF Career Grant ACI-0093157 提供资金支持。
