1、第 卷第 期年 月计算机辅助设计与图形学学报 收稿日期 :;修回日期 :基金项目 :上海市教育委员会科研创新项目 ();上海大学创新基金 ()田丰 (),男 ,博士 ,讲师 ,主要研究方向为数字图像处理 ;夏雪 (),女 ,硕士研究生 ,主要研究方向为计算机图形学 ;田晶(),女 ,硕士研究生 ,主要研究方向为人机交互技术 ;张文俊 (),男 ,博士 ,教授 ,主要研究方向为数字媒体技术 ;王鹤 (),男 ,博士 ,高级工程师 ,主要研究方向为磁共振技术 高分辨真三维显示中的体素化及均匀化方法田丰),夏雪),田晶),张文俊),王鹤)(上海大学影视艺术技术学院影视工程系上海)(通用电气医疗集团应
2、用科学实验室上海)()摘 要 :为了使基于投影的真三维显示获得径向均匀亮度 ,并提高有效体素数量 ,提出一种体素化和均匀化方法 针对体素中轴亮度高和外围亮度低的问题 ,分析了现有体素采样方法导致体素数量损失过多的原因 ;然后以二维平面填充算法替代三维体素采样 ,提出基于径向范围填充的体素化方法 ,以及基于抖动技术的均匀化方法 ,以修正了柱空间内体素亮度失真 实验结果证明 ,文中方法保留了约 的体显示分辨率 ,有效体素数量达到 亿个 ,真三维显示样机能够在室内光环境下显示清晰且均匀的全角度立体影像 关键词 :真三维 ;柱空间 ;体素 ;径向范围填充 ;抖动技术中图法分类号 : ), ), ),)
3、, )( , , )( , , ): , , , , , : ; ; ;为了能真实再现客观世界 ,人们从未间断对立体显示技术的研究立体显示是指能够显示图像深度 (第三维 )的成像设备 ,其效果如真实立体世界一样基于体扫描的真三维显示是目前最新的立体显示技术之一 ,它无需佩戴任何立体眼镜就能呈现具有深度信息的立体图像真三维显示中的立体影像存在于真实三维空间 ,它提供几乎所有的视觉深度信息和全角度立体影像 ,符合人们观察世界的真实感受 ,可满足所有生理和心理的深度暗示研究者一致认为 ,真三维显示技术将在教育 、科研 、医疗 、国防等领域有良好应用前景和重大战略价值 ,同时也可能成为改变人们日常工作
4、 、学习和生活方式的新一代显示媒体之一按成像机制 ,真三维可以分为静态体显示和扫描体显示类在一个固定静止的空间中成像称为静态体显示一个静态体显示的例子是采用红外上转换技术 ,其显示体充满了晶体材料 ,它们能被组不同频率的红外光激发 ,这组红外光束分别由台投影机投射由于从红外光向可见光的能量转换效率较低 ,故显示亮度低且显示体积小,大部分光束穿过晶体可能造成眼睛伤害另外的静态体显示例子是公司的 “”,它包含了块液晶散射快门面板系统运行时 ,其中仅仅一块面板处在散射模式 ,而其余的都设定在透明模式 ,它仅仅提供了层深度信息相反 ,基于体扫描的真三维显示影像由快速运动的显示面板绘制而成 ,影像由可见
5、光产生 ,光线不会直接照射眼睛 ,对人眼不造成任何伤害除了扫描机械的限制 ,体扫描的成像空间大小不受其他因素制约本文呈现了一套体扫描真三维显示原型机 ,由于它的影像存在于柱空间 ,被称作 “”本文实现了柱空间高分辨投影中体素密度与亮度的均匀分布 ,真三维显示样机能够在室内光环境下显示清晰且亮度均匀的立体影像 前期工作在数项重大课题的连续支持下 ,国内已形成几组专注于真三维显示的研发团队浙江大学已开发了基于发光二极管 ( ,)的真三维显示系统,南京航空航天大学先后研制了基于振镜的真三维显示系统和基于旋转螺旋面的真三维显示系统自年起 ,华东师范大学致力于体扫描真三维显示技术的探索 、开发和研制工作
6、 ,采用柱空间体扫描技术先后成功研制了如图所示基于的真三维显示系统 ,它们是在上海首次公开展出的全角裸视真三维显示器现有的真三维显示系统实现了大尺度和较粗糙的立体成像 ,它们的共同特点是 :)采用柱空间扫描构建成像空间 ;)使用单个布满的屏幕 ;图 真三维显示系统)激活体素采用主动光源 ,即成像空间中的体素主动发光成像屏幕可以是螺旋屏等其他异型屏幕 ,但无论哪种异型屏幕都将在某个视点出现完全视觉死区 ,不能体现真三维显示的成像特色 ;调研结果也表明 ,绝大部分用户非常希望获得环视功能虽然柱空间成像方案有任意视点中心轴死区 、体素密度与亮度分布不匀均等固有缺陷 ,但通过成像材料和映射算法的改进是
7、可以减弱这些影响的通过前期课题的验证 ,柱空间体扫描成像是真三维显示的优选方案使用高分辨率屏幕扫描将弱化体素灰度偏差带来的影响,为了获得更高的成像分辨率 ,基于投影技术的真三维成像是一个优选方案采用主动光源激活体素能够提高成像亮度和对比度 ,但主动成像器件随着支架高速运转 ,它们将承受更大的应力 ,其连接器或焊点易出现松动或脱落现象 ,长时间运行后需要维修此类现象在文献 中也有说明为了获得更稳定的成像系统 ,投影技术能发挥其优势 体扫描真三维显示系统设计 柱空间体素成像原理与分布特性可视体素是在真三维显示系统中的可视范围内观察者肉眼观察到的体素集成像显示屏围绕中轴旋转 ,按时间序列显示每个径向
8、截面对应的体素 ,其旋转一周后能扫描全部模型 ,瞬时图像序列因人眼的视觉暂留效应融合感知为一个完整的空间立体影像把柱坐标中的体素映射到笛卡儿坐标系中 ,其空间密度分布不均匀俯视柱空间体素分布图 ,体素为多个等间隔同心圆 ,同心圆平面在轴上是相同第 期 田丰 ,等 :高分辨真三维显示中的体素化及均匀化方法的如图实心点所示 ,外围的体素密度低 、体积大 ;内侧体素密度高 、体积小图 笛卡儿坐标系和柱坐标系内的体素分布图 基于投影技术的高分辨真三维系统设计本课题组参与真三维显示器的开发 ,并延用现有真三维技术 ,自主开发高分辨立体显示器图所示为基于投影技术的高分辨真三维显示结构 ,投影屏在伺服电机的
9、驱动下围绕转轴旋转 ,扫描出一个柱形的成像空间 ;投影光机位于转台底部 ,通过镜面反射后投影画面呈现在成像屏幕上图 基于投影技术的真三维显示结构图系统的基础单元方框图如图所示 ,其包含电源模块 、电机驱动 、伺服电机 、同步带 、齿轮箱 、机械转台 、投影光机 、速度传感器 、嵌入式控制器 、中心反射镜 、边缘反射镜 、成像显示屏幕等本文采用次反射方法 ,中心反射镜采用平面反射镜 ,边缘反射镜采用曲面反射镜 ,在半径约的转台上实现了半径和高度的柱空间三维成像系统还包括组不同的直流电源 ,其中电源为嵌入式控制器供电 ,为伺服马达驱动供电 ;在 ?转的条件下伺服电机能够提供的驱动力将的微镜作为投影
10、核心部件 ,其分辨率为,对角线长度,光机投射比,光源功率,亮度图 系统基础单元方框图系统中 ,伺服电机工作在约?;成像屏幕选用厚的透明有机玻璃 ,其具有良好的机械强度 ;在机玻璃上贴装具有半反半透特性的投影幕 ,其半增益角为;成像空间外围安置保护罩基于投影技术的高分辨真三维原型机如图所示图 基于投影技术的高分辨真三维显示样机 体素均匀化方法 真三维体素均匀化方法分析柱空间内每个体素在单位时间内发光强度相同 ,外围体素扫描面积大 ,内侧面积小 ,相同光强分布且外围扫描面积大导致产生了外围体素过暗而内侧体计算机辅助设计与图形学学报第 卷素过亮的亮度不均匀现象柱空间成像原理导致了体素笛卡儿坐标系下密
11、度和径向亮度分布不均匀对于相同的扫描弧长 ,不同旋转半径所转过的角度不同如图所示 ,最外圈扫过弧长的角度为,最内圈扫过的角度为,利用不同数量的细分子像素来实现体素体积的均匀化体素体积均匀化使内圈和外圈的体素密度基本一致 ,体积均匀化后内圈表示单个体素的时间较外圈长 ,故发光时间也长 ,内圈体素亮度仍高于外圈如图所示 ,保证相同体积体素包含相近数量的可激活子像素可实现内圈与外圈体素亮度的基本一致然而本文采用投影成像 ,单帧画面同时输出 ,因而不能采用脉宽调制技术 ( ,)图 本课题组的 均匀化方法文献 采用两步法完成体素映射 :在笛卡儿坐标系内进行等间隔体素化,针对(直径)(高度)的显示分辨率,
12、在笛卡儿坐标系 (,)下采用了()()()的分辨率进行体素化 ,其柱空间径向截面有 个 如图 所示 ,在和 的径向截面能充分利用显示分辨率,而在方向,显示分辨率损失了 ?倍 为笛卡儿坐标中的体素向柱坐标映射 如图 所示 ,矩形阵列点为笛卡儿坐标系下 (),()范围内的体素 ,环形阵列点为柱坐标系中半径()范围内的体素在柱坐标系外围半径 的位置,矩形阵列点合并到一个环形阵列点 ,半径越小 ,合并的矩形阵列点越少 如 图 所 示 ,矩形阵列点为笛卡儿坐标系下(),()范围内的体素 ,环形阵列点为柱坐标系中半径 ()范围内的体素在中部,基本上一个长方体空间体素可映射到同一个圆柱体空间体素 如图 所示
13、 ,矩形阵列点为笛卡儿坐标系下 (),()范围内的体素 ,环形阵列点为柱坐标系中半径 ()范围内的体素一个长方体空间体素可分散到多个圆柱体空间体素 (多对多关系 )或一个长方体空间体素映射到一个圆柱体空间体素 (一对一关系 )图 笛卡儿坐标系和柱坐标系内的体素分布将笛卡儿坐标系中等间距分布的个体素合并到柱坐标系中的单个体素 ,映射后外围分辨率降低 ,映射后的体素均不满足笛卡儿坐标和柱坐标系下的均匀密度分布条件图中的倾斜分布点表示笛卡儿坐标系内体素数量与半径()的关系 ,体素数量随半径增大而增大 ;水平分布点表示柱坐标系内体素数量与半径()的关系 ,其体素数量和半径无关柱空间映射 前 的 横 断
14、 面 体 素 数,柱 空间映射后外围体素合并 ,其有效体素数减少到 图 径向体素数量分布将笛卡儿坐标系内的体素映射到柱空间内的第 期 田丰 ,等 :高分辨真三维显示中的体素化及均匀化方法体素后 ,其径向相对亮度变化如图所示 ,映射后的体素径向亮度并不是完全均匀一致图 径向相对亮度统计 柱空间体素径向范围填充方法文献 讨论了多种体素化方法 ,并对已有体素化方法进行了扩展 ,并完成两步法中的第一个步骤由文献 的成像结果可知 ,其体素化结果与图中的纵断面采样类似 ,体素分布不能完全覆盖模型表面 ,垂直面断裂缺损现象尤为严重图 基于断面采样的体仿真图所示为基于纵断面范围填充的体仿真结果 ,可以看出体素
15、覆盖了茶壶的整个表面 ,其分布连续且无断裂现象三维模型数据包含点与三角形信息 ,并以文件格式存储本文方法按顺序提取三角形信息 ,对三角形进行范围填充 ,以实现体仿真如图所示 ,把纵断面范围填充方法拓展至柱空间在某个扇形空间内 (;)对三角形进行体素的径向范围填充如图所示 ,三角形图 基于断面范围填充的体仿真的个顶点分别为,;线段和与扇形空间正面的交点分别为和,线段和与扇形空间的背面的交点分别为和,需要填充的是区域把和顺时针旋转?,映射到平面的坐标分别为和在平面内对,和进行四边形填充 ,以二维平面内填充替代三维体素化的方法简化了计算过程四边形填充采用传统的区域填充扫描算法,如图所示 ,填充区域经
16、旋转?后构成被激发体素图 柱空间体素径向范围填充方法图 柱空间体素径向范围填充结果 (正视图 )图所示为柱空间体素径向范围填充结果 :针对扇形空间的范围填充分别产生体素集合,可被有限个扇形空间表达在与两步法采用相同屏幕分辨率的条件下 ,柱空间径向范围填充后的横截面体素数为()计算机辅助设计与图形学学报第 卷柱空间径向范围填充方法满足柱坐标系内的均匀密度分布 柱空间体素均匀化方法位于不同半径的体素单位时间产生相近的发光强度 ,故柱空间内部体素亮度高 ,外围体素亮度低针对径向分布的体素 ,假设最靠近中心轴的体素与转轴距离为,则径向第个体素与中心轴的距离则为第个体素旋转一周所占的实际面积 ()()(
17、)图横坐标为体素由中心转轴向外围的径向编号,图的纵坐标表示径向体素的相对面积或相对亮度值 ,图的纵坐标表示图像灰度级()径向第个体素旋转一周所占的相对面积,即,假设通过次反射的投影图像灰度值不变 ,按径向灰度函数调制原图像(,)生成径向灰度图,则(,)(,)图 灰度与亮度关系图径向第个体素的灰度值除以第个体素的扫描面积等于第个体素的亮度值径向第个体素的未修正前相对亮度函数为 ?()其中,为了保证不同半径位置的体素单位面积内能产生相同的发光强度 ,即线性修正后相对亮度函数为恒值 ,满足单位时间内不同面积体素亮度的一致 ,需保证径向灰度函数和为线性关系按扫描面积线性调整体素的亮度值 ,且满足在的灰
18、度级区间 ,故压缩比为,即(?),线性变换柱空间中的体素亮度会导致整个真三维影像亮度降低过多通过多人观看后提出的参考意见 ,在柱空间中轴附近保留线性修正方法 ,而对外围体素的灰度值进行非线性变换 ,使图像整体灰度值和影像整体亮度得到有效提升 ,以避免较暗的真三维影像亮度降低过多如图所示 ,径向灰度函数为经验函数 ,类似图像伽玛增强方法 ,满足灰度级变换的连续性 ,且能够全面提高径向第个体素的灰度值 ,进而提高此区域体素亮度 、减小线性变换带来的中轴分辨率过大损失?,烅烄烆由式 ()可获得基于非线性变换的非线性修正相对亮度函数原图像(,),按和生成径向灰度图和,灰度图像包含了级灰度值为了使用二值
19、图像表达灰度图像 ,文献 采用矩阵进行抖动处理 ,虽然实现了灰度成像 ,但损失了倍显示分辨率本文采用基于误差扩散的抖动算法 ,首先建立加网标识 ,设为径向灰度图 ,为保存加网的图像 ,为误差保留变量 ,并以作为加网阈值进行误差保留 ,即(,)(,);(,);(,);(,);误差扩散的算法具体做法如下 :向右扩散误差的?,向下扩散误差的?,向右下扩散误差的?,向左下扩散误差的?,即(,)(,)?,(,)(,)?,(,)(,)?,(,)(,)?烅烄烆以线性调制原图像(,)获得径向灰度图,图所示为通过误差扩散抖动算法生成的二值图 ;以调制测试图像,图所示为通过误差扩散抖动算法生成的二值图以调制原图像
20、(,)获得径向灰度图,图所示为通过误差扩散抖动算法生成的二值图 ;以调制测试图像,图所示为通过误差扩散抖动算法生成的二值图比较与相对应的二值图 ,中轴区域的细节损失较多 ,故本文采用了基于径向灰度函数的变换调制方法图所示为均匀化前后的环比亮度顶视图和其三维模型 (相机设定为自动曝光 )均匀化前的顶第 期 田丰 ,等 :高分辨真三维显示中的体素化及均匀化方法图 用于体素均匀化的调制图视图中轴亮度过高而外围亮度较低 ,导致三维影像的亮度失真 ;均匀化后顶视图的整体亮度分布较均匀化前有了较大改善 ,三维影像亮度失真得到有效控制本文提出的基于抖动技术的均匀化方法 ,改善了柱空间影像的亮度失真图 环比亮
21、度顶视图和三维模型体素径向范围填充方法及抖动算法与两步法相比 ,在相同像素数量的条件下 ,即(直径)(高度)的显示分辨率 ,范围填充后的横截面体素数,抖动算法处理后的横截面有效体素数,均大于两步法产生的有效体素数 与两步法类似 ,本文提出的基于抖动技术的均匀化方法产生体素径向亮度也近似均匀 实验本文对模型所有三角形进行角度为的扇形空间范围填充 ,获得单帧径向范围填充图像;并通过径向灰度函数生成径向灰度图以抖动模板生成径向二值图,按视点位置把二值图转化为二维投影平面上视点图像,并获得视点累计图,由于累计值可能大于灰度值,故按计算机能够显示的灰度值映射视点累计图 ,获得视点仿真图?()为了验证体素
22、化和均匀化方法 ,制作了一套原型系统为测试完整的真三维显示器性能 ,本文设计了成像实验实验在室内进行 ,并由台 相机进行多角度拍摄图 个视点拍摄同一个真三维影像如图所示年月 “上海立体显示与三维打印 ”科普宣传周展品 ,该实验在半径和高度的成像空间内完成真三维成像 ;立体影像分辨率可达到,并获得约亿个有效体素所获得的图像质量清晰稳定 ,观察者从不同视点可以观察到图像的不同部分计算机辅助设计与图形学学报第 卷虽然初步实验成功地产生了预期的立体影像 ,但进一步采取改进措施来提高立体成像质量 :目前采用的投影屏幕 ,其半增益角达到,为了最大程度地消除任意视点死区 ,需要选用或定制新的广角双面成像屏
23、;依靠普通投影光源输出的立体影像分布在空间中来大大降低了影像亮度 ,因而后期需要更换新型激光光源 ,以获得更大 、更亮的影像 结语本文描述了自主研发的柱空间投影真三维显示系统通过基于径向范围填充的体素化方法和基于抖动的均匀化算法 ,生成了立体影像数据源柱空间径向范围填充方法使得体素在柱坐标中密度分布均匀 ,抖动算法降低中轴区域亮度 ,径向体素亮度近似均匀该系统能够在室内环境下产生高分辨 、通透的立体影像参考文献 (): , : ,(): , , , ? : ,: , , , ,(): , , , ,(): , , , ,(): , , , ,(): , , : ,():()(田丰 ,徐劼敏 ,
24、刘锦高 低成本真三维显示器的构建 华东师范大学学报 :自然科学版 ,():) ,(): ,(): : ,(): , , ,():( )(谢小燕 ,刘旭 ,林远芳 体三维显示系统中基于几何近似法的灰度偏差研究 光学学报 ,():) , , ,():( )(岳键 ,樊琼剑 ,沈春林 体扫描显示系统中螺旋旋转屏及螺旋切片生 成 算 法 中国图象图形学报 ,():) , , , ,():( )(陆海霞 ,郑文庭 ,陈为 ,等 彩色体三维显示系统上基于的实时均匀体素化算法计算机辅助设计与图形学学报 ,():) , ,():( )(任继成 ,刘慎权区域填充扫描线算法的改进计算机辅助设计与图形学学报 ,():)第 期 田丰 ,等 :高分辨真三维显示中的体素化及均匀化方法