1、IsoRegion Leaping：一种体绘制加速算法摘 要 本文提出了一种适用于光线投射类型体绘制的加速算法，我们称为 IsoRegion Leaping，它是基于体数据中等灰度区域的采样复合方程的因子分解。为了确定体数据中具有相同灰度值的相邻体素，我们建立了一种称为 IsoRegion 的数据结构，这种结构独立于视点和绘制参数，并且可以在预处理过程中建立。位于 IsoRegion 中的投射光线上的累积颜色和透明度，根据所在区域的灰度值和线段长度，也被预先计算好并存入查找表中。这样，穿过 IsoRegion的光线线段的属性就可以在查找表中查得，从而节省大量不必要的采样复合计算。在具有相同图像
2、质量的前提下，这种方法一般要比标准方法快 23 倍。在理论和实践上，都可以证明新方法和标准方法生成的图像是一致的。关键词 体数据可视化,，光线投射，IsoRegionEfficient Volume Rendering by IsoRegion Leaping Acceleration Abstract This paper introduces a new acceleration technique for ray casting type volume rendering called IsoRegion Leaping. A factorization of sample compos
3、ition equation leads to our new algorithm, which is based on homogeneity inside a volume. We create an IsoRegion data structure to help identifying homogeneous voxel cubes, which is independent of the viewing parameters and shading conditions, thus can be pre-processed. Accumulated colors and transp
4、arencies of homogeneous ray segments are pre-computed into a look-up table according to different voxel values and ray segment lengths. Attributes of ray segments piecing through IsoRegion blocks are looked-up from the table. Therefore, unnecessary sample compositions with IsoRegion are saved. This
5、voxel leaping technique is experimentally proved to efficient even for real-life medical volume data. A speed up of 2 to 3 times is measured while preserving the image quality. Images generated by our algorithm and the ones from the original algorithm without IsoRegion Leaping acceleration are ident
6、ical, both theoretically and experimentally.Keywords volume visualization, ray casting, IsoRegion1 引言体绘制是三维数据可视化的一种重要手段，它是一种将三维体数据投影到二维图像平面上的方法，这其中包含了大量计算。在本文中我们提出了一种新的光线投射式体绘制的加速算法，它是通过利用体数据中具有相同灰度值的等值区域以避免不必要的采样复合计算来实现的，我们称之为 IsoRegion Leaping。迄今为止，人们已经提出了许多种体绘制加速算法。这其中有 Law 和 Yagel 提出的基于时间连贯性、用于绘
7、制动态数据的加速算法11；由 Lacroute 和 Levoy 提出的 shear warp 方法，它通过一种特殊的遍历模式，来发掘图像空间和物体空间的连贯性；Adelson等人1,3,2以及 He 和 Kaufman 等人研究了立体成像的连贯性，提出了更为有效的生成立体图像的方法。其他的加速算法还有 Fang6和 Kulick 8提出的利用三维纹理加速器的体绘制方法以及由 Lacroute9和 Ma13提出的并行与分布式体绘制方法。综观上述算法可以看出这些加速算法都是依赖于某种连贯性的，如时间、物体空间、图像空间、立体图和光线采样空间的连贯性等。这启发我们提出一种新的体绘制加速方法：它依赖于
8、体数据(物体空间)内部的连贯性。在下面几节中，我们首先分析基本的复合投影算法，在此基础上推导出采样复合方程的一个因子分解。用这个结果，我们证明在大部分加速技术中，预先计算好的颜色和不透明度传递方程的乘法表会在结果中引入一些误差。结合因子分解的结果，我们提出了IsoRegion Leaping 的思想，这种方法预先计算光线段在 IsoRegion 中的累积颜色和透明度。在不降低图像质量的前提下，新方法可以实现 23 倍的加速效果。 复合投影在复合投影中，半透明效果是通过赋于体素不透明度(或透明度) 来模拟的。叠加算子将沿光线上采样点处的颜色和不透明度累加起来，这个过程称为采样复合：；211)(C
9、Rfinal )1(2finalA其中 是复合后的颜色， 是累积的不透明度， 和 分别表示第 i 个采样点处的颜finalRfilAii色和不透明度。这里下标 i 越小，表示采样点越靠近视点。为使下面的讨论更简洁，我们同时引入透明度 和累积透明度 ：B； ；ii1211final21finalfinalB这个公式通过减少运算的次数，可以提高算法的执行效率。下述方程(1)定义了预先计算好的采样点处的颜色和不透明度的乘法表，将这个表存储起来有利于提高算法的效率12,5。但我们注意到在实际应用时，这个表并不总是精确的。如果沿光线的采样点正好位于体素所在位置时，这个表的值是精确的；其它情况时，如直接在
10、这个表上插值等操作将会引入微小的误差。这里有一个例子，它是用比例 在)1(:u两个体素 和 之间做线性插值得到的一个采样点：pq(1)qpqpsample pqpsamlesllqpsamleplii CuMuMCu)1()1( )1(; 显然， 不是一个精确值，只是 的一个逼近。但是考虑到算法效率及逼近误差不sample saple太大，目前的一些绘制算法和系统仍然存储这个乘法表12,5。如果根据采样方式作适当的调整 ，则会得到更好的逼近结果。iC为了复合沿光线上的一系列采样点，我们假设每一个采样点包含两个分量，即颜色值和不透明度 ：i i， ，1,C2,nC,根据透明度公式(即递归地应用复
11、合算子 )12,13，沿光线的累积颜色 为：finalR(2)niijjfinalCR1132121 .()(常用的计算上述表达式的方法有两种：从后到前和从前到后。对于从后到前的顺序，上述表达式可以重新表示为：； ；nnR1iii R1final这个表达式从最内部的项开始算起，在 的时间内扩展到最外部的结果。另一方面，从)(O前到后的顺序可以这样表示：； ；),(),(11BC ), 111 iiiiii BCnfialR这组表达式有效地将括号打开，一项一项的在 的时间内计算最终结果。由于从前到后)(n的顺序可以及时停止沿光线的采样，这种方法引起了人们更大的关注，这也是 Levoy 提出的复合
12、投影加速技术的核心。通过将方程(2)作因子分解，我们可以得到：(3)*21* 1111CBCaRnmiijjikmiijjfinal ,1nm对任意 属于 ，上述因子分解结果总是正确的。这个分解的意义在于它提供了一个进m,1行部分复合采样的基础。遵循从前到后的的顺序，我们将沿光线的采样分成不同的段，在每一段中以从前到后的的顺序复合采样，我们得到：, , , )(*1)(*2B),(*tC其中 为光线被分割的段数， 和 为对应每段上的累积颜色和不透明度。通过递归的应t iCi用上述因子分解结果，我们有：(4)tiijjfinalR11*对于二分法的情况，Ma 给出了这种因子分解的特殊结果。方程(
13、3) 是一个更一般的结果。在下面介绍的基于 IsoRegion 的加速算法，主要是用方程(4)的结果。3IsoRegion Leaping 加速算法空间跨跃是加速光线投射式体绘制方法的一种常用手段，它的核心是跨过空的体素16。基于这个思想的加速算法有：由 Cohen 和 Shefer 提出的 Proximity Clouds4；由 Zuiderveld提出的通过距离编码的光线加速法17；还有 Sramek 提出的跳过大范围空区域的方法14等。所有上述算法都是通过避免不必要的、费时的空体素采样实现加速的。要想利用这些算法，用户首先通过设定阈值、分割或统计的方法将体数据进行分类，找出空的体素。但这
14、个分类过程可能会引入一定的不精确性，而且需要人的干预。和上述只跨过空体素的加速算法不同，具有相同灰度值的空间体素也可以被一次性地跨过，这样可以进一步加速算法。我们称这些具有相同灰度值的区域为 IsoRegion。有了这个概念，我们就不必将空体素单独分类。在不同 IsoRegion 中光线被分成不同的采样区间段，这些采样区间段上的结果按方程(4)的因子分解，沿着光线的方向，按从前到后的顺序类加起来就得到最终结果。由于在同一个 IsoRegion 中，沿光线的采样都是在相同的体素中，所以颜色和透明度的预计算也就成为可能。这是本文方法加速的一个主要原因。由于 IsoRegion 是本文的核心，所以我
15、们首先讨论 IsoRegion 是的定义以及构造方法；然后介绍沿光线方向预处理的累积颜色和透明度的查找表；最后是光线遍历方法。3.1 IsoRegion 的定义图 1 IsoRegion 的定义在图 1 中有两个 IsoRegion 的例子。IsoRegion 就是一个边长为奇数、且其中体素的灰度值都相等的立方体区域。对于自然数 (以下称之为半径) ，IsoRegion 含有 个体d 3)12(d素。因此，最小的 IsoRegion 仅含有一个体素，它是 的特殊情形。给定一个半径为 、0d中心在 的 IsoRegion，下面的表达式成立：),(zyx ,),(),( dkjizyxVkzjyi
16、xV当 ， 和 属于 时，体素 共有 个相邻体素( )，这种邻接关系称ijk1,(261326N为 26-连通( 在二维情形下是 连通)。该定义保证 IsoRegion 的中心体素被具有相同832灰度值的、26 连通的体素包围着，这种具有 26 连通的邻接距离也称为棋盘格距离 14。从 IsoRegion 的中心出发，我们可以跨过 d 个体素的距离而且保证遇到的所有体素具有相同的灰度值。为了记录 IsoRegion，我们只需在它的中心存储它的半径 。图 2 给出了一个二维的例d子：这里，我们不考虑 IsoRegion 的具体数值(图中共有四种体素) 。读者可以注意我们是如何在体数据的边界处扩展
17、 IsoRegion 的定义的(图中以虚线表示) 。在这种情况下，体数据边界是以相同灰度值均匀扩散的。Title:IsoRegionCube.epsCreator:fig2dev Version 3.2 Patchlevel 0-beta2Preview:This EPS picture was not savedwith a preview included in it.Comment:This EPS picture will print to aPostScript printer, but not toother types of printers.Title:IsoRegionVol
18、ume.epsCreator:fig2dev Version 3.2 Patchlevel 0-beta2Preview:This EPS picture was not savedwith a preview included in it.Comment:This EPS picture will print to aPostScript printer, but not toother types of printers.图 2 一个二维 IsoRegion 的例子为了更好地开发空间跨跃所具有的加速能力，许多人研究了对于空区域，如何给处一个更紧凑边界的问题。有人用其它形式的距离函数去描述空
19、间区域，如街区距离(city block distance)、欧氏距离 (Euclidean distance)以及斜面距离等 (chamfer distance)。一般情况下，松散的边界会给出保守、半径较小的 IsoRegion，计算量也小，但空间跨跃的效率不高；相反，紧凑的边界可以给出较大的 IsoRegion，空间跨跃的效率也较高，但处理 IsoRegion 的花费也较大。在本的算法中采用的棋盘格距离是对上述两种情况的折衷，既可以得到较好的IsoRegion 范围，处理时间也较少。3.2 IsoRegion 的建立由于 IsoRegion 的信息本质上是整体的，所以我们在处理过程中，应当
20、沿着某个方向将已有的局部信息逐步扩展到它的相邻体素。这里，我们采取一种迭代的方式建立IsoRegion：在第一层迭代中，我们检查每个体素的 26 连通邻域，如果它与中间体素具有相同灰度值，就标记为“1”，否则标记为“0”。在进一步的迭代中，我们寻找更大的IsoRegion，并且不必再检查所有的 26 连通邻域体素，而只需检查对角连通的邻域体素( )，DN因为对角连通邻域的 IsoRegion 可以覆盖其它的体素。如果所有对角连通的体素分别是当前所得到的子 IsoRegion(半径为 )的中心，则根据棋盘格距离的定义，我们就得到一个1d半径为 的更大的 IsoRegion。上述迭代过程重复至没有
21、更大的 IsoRegion 发现为止。具体d算法如下：Algorithm 1 CreateIsoRegion/ Initial step:for all voxel positions ),(zyxif ,(VkjixV1,kjithen IsoRegion 1,else IsoRegion 0)(z/ Iteration step:1drepeatfor all voxel position ),(zyxif IsoRegion dw),(zyxNDthen IsoRegion IsoRegion +1,1duntil no further IsoRegion found虽然上述处理过程需要
22、花一些时间，但这只需在预处理过程中执行一次，结果可以和体数据存储在一起。由于这一部分信息是与视点和绘制参数无关的，我们可以反复利用。另外，虽然这个预处理过程对内存需求较大，通常要与体数据大致相同的内存，但当前的工作站通常配有很大的内存，而且其硬件处理功能足以处理这种规模的数据；而且这部分信息还可以进行压缩，如用更少的 bit 去表示 IsoRegion 的半径。因为在实际应用中，很少能遇到半径超过 50 的具有相同灰度值的体素，特别是对活体的 MRI 数据更是如此。例如在实际应用中，我们可以假定 IsoRegion 的最大半径为 15，这样我们就可以用 4bits 存储它，而不是 8bits，
23、将会减少 50%的内存占用。3.3 IsoRegion 步幅查找表在进行光线遍历之前，还有另一个预处理过程：计算光线线段在 IsoRegion 中的累加颜色和透明度，并将其记录入查找表中，我们称这个表程为 IsoRegion 步幅查找表，简记为 IRST(IsoRegion Step Table)。实际上，IRST 是一个从体素灰度和步长到沿光线段的累加颜色和透明度的映射：IRST： *),(),(BCdv其中 是体素灰度值( )， 为步长值( )； 和 分别沿光线段的累加v25,0stepmax_1*颜色和透明度。IRST 的计算主要是根据方程 (2)。由于光线穿过的同一个 IsoRegio
24、n 中的体素具有相同属性，所以许多计算可以简化为：； ；vColrivOpcityi1i ,1di经过上述简化，我们有： ),(*),(), dCBdIRST对于给定的灰度值和步长值，我们可以通过 IRST 找出沿光线段的累积颜色和透明度。这里我们假设沿光线的采样距离等于体素的边长。如果采样距离不同于我们的假设，可作以下调整：new step value = sd其中， 为沿光线的采样距离。sd3.4 光线遍历方法我们所采用的光线遍历方法，除着色和采样复合部分不同外，非常类似于基本的光线投射算法。它是一种基于光线的(图像顺序) 平行复合投影算法。我们假设体数据是通过沿三个方向均匀采样得到的，为
25、简便起见，重采样只在整数体素格点处进行。算法从视点向屏幕中每个像素处发射光线，如果光线不与体素相交，则对应的像素为黑色；否则光线穿过体数据，并得到一系列采样点。传统的光线投射算法中，采样是均匀的；在我们的算法中，虽然采样也是均匀的，但与光线所跨过的 IsoRegion 的大小有关。Title:IsoRegionLeapParallel.epsCreator:fig2dev Version 3.2 Patchlevel 0-beta2Preview:This EPS picture was not savedwith a preview included in it.Comment:This E
26、PS picture will print to aPostScript printer, but not toother types of printers.图 3：光线跨过 IsoRegion：均匀分布的采样依赖于 IsoRegion 的大小光线遍历的过程如图 3 所示。光线 A 首先遇到一个半径为 3 的 IsoRegion，我们在IRST 中查找这一段光线(包含 3 个采样点)对应的累积颜色和透明度( 用空点表示)，这样我们在进入下一个采样过程之前就跨过了两个采样点(用交叉点表示) 。第 2 次采样是在另一个半径为 2 的 IsoRgion 中进行的，这一次通过 IRST 查找节省了两
27、个采样。半径为 0 的IsoRegion 表示没有连贯性可以发掘，所以要进行单独采样(黑点) ，这种情况下没有算法加速。根据从 IsoRegion 中心向各个方向的均匀性，从各个方向通过中心的光线段在IsoRegion 分布一定是均匀的，所以这种加速是与视点方向无关的。只要光线遇到半径非零的 IsoRegion，就一定会有加速跨跃。Algorithm 2 SampleAndComposite( )der,/ 光线与体数据的第一个交点坐标；er/ 光线的方向向量，长度为采样距离；d1 1C2 0B3 while volumeVre/ 采样和着色过程；4 the nearest integral
28、neighbor of )(eNer/ 从 IsoRegion 中计算步长值5 IsoRegiond)(erN6 if 07 then / 没有跨跃采样点，计算对应的颜色和透明度。8 )(*),(erSamplBC/进入下一个采样点9 der10 else 11 /从体数据中得到体素的灰度值)(eNVv12 /查找标中的累积灰度和透明度),(*),(dvIRSTBC13 /进入下一个采样点rde141516 end第 8 行表示可以选用不同的采样核函数，例如：整数格点处采样、三线性插值采样等；如果要在算法中引如前面提到的光线终止加速方法，只需要简单的在第 3 行加入一个判断累积透明度的条件即可
29、。用本方法生成的图像与不用 IsoRegion 加速的光线投射算法得到的结果是完全一致的。这种加速方法可以保持图像质量的原因在于方程(4)中的等式 (即我们得到的因子分解结果)，它通过在 IsoRegion 中节约不必要的采样和复合计算，提高了光线遍历的效率，同时还可以保持最终绘制结果的正确性。4 实验结果表 1：以图 4 为例，最初的逐点采样的光线投射算法与 IsoRegion 跨跃加速算法在绘制时间与采样复合方面的比较CPU time taken (sec)FigOriginal IsoRegionLeap Count Speed Upa 9.37 5.49 4157000 1.71b 5
30、.79 1.89 4700045 3.06c 3.54 1.85 1692549 1.91d 2.24 1.28 1399315 1.75图 4 为四个具有不同绘制参数的人头部绘制结果。这是个 CT 数据是开放的，分辨率为 ，8bits 精度。绘制是在具有 512M 主存、运行 Solaries2.5.1 的 SUN Ultra 2561/170 上进行的。所有图像均为 。表 1 总结了新算法和原来算法在时间上的比较结256果。”Leap count”一列表示新方法可以节省的采样复合个数。根据不同的数据，加速一般在23 倍之间在测试中，用加速算法和不用加速算法生成的图像是完全一致的。这一点即可
31、以用因子分解结果在理论上得到证明，也可以在实验中证明。我们在这里采用的是取最近整数格点的采样方式。需要强调指出的是，这种方法是独立于采样或滤波方法的。如果采取更为复杂的采样方法，如三线性插值等，新方法的加速效果会更加明显。本方法所得到的加速效率与具体的数据和绘制参数有关。如果所要绘制的数据中含有更多的 IsoRegion，则加速效果就更明显；如果沿视线方向光线可以交到更多的IsoRegion，也能得到更好得加速效果。为了应用新的加速算法，我们必须事先作些预处理工作：首先抽取 IsoRegion 信息并加以存储，对上述 CT 的头部数据，这一步要用 173sec。但这是一次性的，它独立于绘制参数
32、和采样方法。这部分信息与原始数据存储在一起，例如头部数据大小为16MB，IsoRegion 信息为 8MB(4bits)，而且它还可以进一步的压缩。其次，如果颜色和透明度函数指定了，我们需要建立一个 IRST，这里我们用了 0.42sec。如果我们要在当前颜色和透明度函数的条件下绘制动态图像，则 IRST 可以用于每一帧的计算。(a) (b)(c) (d)图 4：头部的四个绘制结果 进一步的研究工作和讨论IsoRegion Leaping 很容易用在透视投影式的体绘制中，这是因为 IsoRegion 是一个立方体包围的区域，所以沿任何方向的光线的跨跃总是有效的。如果光线之间是相互独立的，不管是
33、平行投影还是透视投影的体绘制均可以被加速，我们将在进一步的研究和测试中证明这一点。我们还在尝试将本方法应用于其它方式的体绘制，如最大值投影法。这里我们不须计算沿光线的颜色累加和透明度累加，而只要找出沿光线的最大灰度值即可。这将是一个有意义的研究题目。Title:/data/b1/gds/pffung/med/dvr/head_large_slant.epsCreator:XV Version 3.10a Rev: 12/29/94 - by John BradleyPreview:This EPS picture was not savedwith a preview included in
34、it.Comment:This EPS picture will print to aPostScript printer, but not toother types of printers.Title:/data/b1/gds/pffung/med/report/volume_render/head-front.epsCreator:XV Version 3.10a Rev: 12/29/94 - by John BradleyPreview:This EPS picture was not savedwith a preview included in it.Comment:This E
35、PS picture will print to aPostScript printer, but not toother types of printers.Title:/data/b1/gds/pffung/med/dvr/head-sidecut.epsCreator:XV Version 3.10a Rev: 12/29/94 - by John BradleyPreview:This EPS picture was not savedwith a preview included in it.Comment:This EPS picture will print to aPostSc
36、ript printer, but not toother types of printers.Title:/data/b1/gds/pffung/med/report/volume_render/head-frontcut.epsCreator:XV Version 3.10a Rev: 12/29/94 - by John BradleyPreview:This EPS picture was not savedwith a preview included in it.Comment:This EPS picture will print to aPostScript printer,
37、but not toother types of printers.目前，我们的算法只应用于没有光照效果的光线投射体绘制。如果在平行投影的条件下引入方向光源，我们的 IsoRegion 加速技术仍然是可行的。只不过在这种条件下，我们需要重新计算在不同视点和光源方向下的 IRST，而且它不能重复用于视点或光源方向变化的动态图像绘制。由于在 IsoRegion 中，灰度和法向都是均匀的，所以带有光照效果的体绘制也可以进行预处理。这需要作进一步的研究。 结论本文提出了一种新的体绘制加速算法，该算法充分利用了体数据中具有相同灰度值的IsoRegion 的连贯性，与原有的加速算法相比，该算法不仅可以跨跃
38、空的体素，还可以跨跃非空体素。我们在理论(通过因子分解结果 )和实践均证明了该算法不会降低图向质量，它仅仅是避免了一些多余的采样。实验结果表明，我们的算法对医学数据的平行投影绘制效率可以提高 23 倍。这种技术也可以用于透视投影的环境中，而且还可以引入光线终止条件以进一步加速算法。参考文献1 Stephen J. Adelson, Jeffrey B. Bentley, In Seok Chong, Larry F. Hodges, and Joseph Winograd. Simultaneous Generation of Stereoscopic Views. Computer Grap
39、hics Forum, 10:3-10, 1991.2 Stephen J. Adelson and Charles D. Hansen.Fast Stereoscopic Images with Ray-Traced Volume Rendering. ACM/IEEE 1994 Symposium on Volume Visualization， pp. 3-9, Otc. 1994.3 Stephen J. Adelson and Larry F. Hodges. Stereoscopic Ray-Tracing. SIGGRAPH 93 Course 16 Notes, pp. 4-2
40、4-53, 1993.4 Daniel Cohen and Zvi Sheffer. Proximity clouds - an acceleration technique for 3D grid traversal. The Visual Computer, 11(1): 27-38, November 1994.5 John Danskin and Pat Hanrahan. Fast Algorithms for Volume Ray Tracing. Proceedings 1992 Workshop on Volume Rendering, pp 91-98, 1992.6 Shi
41、aofen Fang, Rajagopalan Srinivasan, Su Huang, and Raghu Raghavan. Deformable Volume Rendering by 3D Texture Mapping and Octree Encoding. IEEE Visualization 96 Conference, pp73-80, 1996.7 Taosong He and Arie Kaufman. Fast Stereo Volume Rendering. IEEE Visualization 96 Conference, pp 49-56, 1996.8 Tod
42、d Kulick. Building an OpenGL Volume Renderer. SIGGRAPH Course Notes 1996, pp 1-8, 1996.9 Philippe Lacroute. Real-Time Volume Rendering on Shared Memory Multiprocessors Using the Shear-Warp Factorization. Proceedings of the 1995 Parallel Rendering Symposium, pp 15-22, 1995.10 Philippe Lacroute and Ma
43、rc Levoy. Fast Volume Rendering Using a Shear-Warp Factorization of the Viewing Transformation. SIGGRAPH 94, pp 451-458, 1994.11 Asish Law and Roni Yagel. Exploiting Spatial, Ray, and Frame Coherency for Efficient Parallel Volume Rendering. Proceedings of GraphiCon 96, 2:93-101, June 1996.12 Marc Le
44、voy. Efficient Ray Tracing of Volume Data. ACM Transactions on Graphics, 9(3): 245-261, 7 1990.13 KwanLiu Ma and James S. Painter. Parallel Volume Visualization on Workstations. Computers&Graphics, 17(1): 31-37, 1993.14 Milos Sramek. Fast ray-tracing of rectilinear volume data. Virtual Environments and Scientific Visualization 96, Proceedings of the EuroGraphics Workshops, pp 201-210, 1996.15 Roni Yagel and Arie Kaufman. Template-Based Volume Viewing. Proceedings of EuroGraphics 92, pp 153-167, 9 1992.
