1、计算机辅助文物复原中的若干问题 研究,潘荣江 山东大学计算机科学与技术学院 2005 年 11 月,2,基础知识,1 图形学的研究内容 2 3D data types 3 2-D Data 4 Reconstruction 5 Range Acquisition Methods,3,4,Main Themes,Imaging Representing 2D images Modeling Representing 3D objects Rendering Constructing 2D images from 3D models Animation Simulating changes ov
2、er time,5,Modeling-Design,Graphics for Engineering and Architectural System,AutoCAD 2002,Interior Design,6,Modeling-Reconstruction,7,3D Data Types,Point Data “Point clouds” Advantage: simplest data type Disadvantage: no information on adjacency / connectivity Volumetric Data Regularly-spaced grid in
3、 (x,y,z): “voxels” For each grid cell, store Occupancy (binary: occupied / empty) Density Other properties Popular in medical imaging CAT scans MRI,8,3D Data Types,Advantages: Can “see inside” an object Uniform sampling: simpler algorithms Disadvantages: Lots of data Wastes space if only storing a s
4、urface Most “vision” sensors / algorithms return point or surface data,9,3D Data Types,Surface Data Polyhedral Piecewise planar Polygons connected together Most popular: “triangle meshes” Smooth Higher-order (quadratic, cubic, etc.) curves Bzier patches, splines, NURBS, subdivision surfaces, etc.,10
5、,3D Data Types,Advantages: Usually corresponds to what we see Usually returned by vision sensors / algorithms Disadvantages: How to find “surface” for translucent objects? Parameterization often non-uniform Non-topology-preserving algorithms difficult Implicit surfaces (cf. parametric) Zero set of a
6、 3D function Usually regularly sampled (voxel grid) Advantage: easy to write algorithms that change topology Disadvantage: wasted space, time,11,2-D Data,Image stores an intensity / color along each of a set of regularly-spaced rays in space Range image stores a depth along each of a set of regularl
7、y-spaced rays in space Not a complete 3D description does not store objects occluded (from some viewpoint) View-dependent scene description,12,2-D Data,This is what most sensors / algorithms really return Advantages Uniform parameterization Adjacency / connectivity information Disadvantages Does not
8、 represent entire object View dependent,13,2-D Data,Range images Range surfaces Depth images Depth maps Height fields 2-D images Surface profiles xyz maps ,14,Related Fields,Computer Vision Passive range sensing Rarely construct complete, accurate models Application: recognition Metrology Main goal:
9、 absolute accuracy High precision, provable errors more important than scanning speed, complete coverage Applications: industrial inspection, quality control, modeling,15,Related Fields,Computer Graphics Often want complete model Low noise, geometrically consistent model more important than absolute
10、 accuracy Application: animated CG characters,16,Terminology,Range acquisition, shape acquisition, rangefinding, range scanning, 3D scanning Alignment, registration Surface reconstruction, 3D scan merging, scan integration, surface extraction 3D model acquisition,17,Range Acquisition Taxonomy,Range
11、acquisition,Contact,Transmissive,Reflective,Non-optical,Optical,Industrial CT,Mechanical (CMM, jointed arm),Radar,Sonar,Ultrasound,MRI,Ultrasonic trackers,Magnetic trackers,Inertial (gyroscope, accelerometer),18,Range Acquisition Taxonomy,Optical methods,Passive,Active,Shape from X:stereomotionshadi
12、ngtexturefocusdefocus,Active variants of passive methodsStereo w. projected textureActive depth from defocusPhotometric stereo,Time of flight,Triangulation,19,Touch Probes,Jointed arms with angular encoders Return position, orientation of tip,Faro Arm Faro Technologies, Inc.,20,Optical Range Acquisi
13、tion Methods,Advantages: Non-contact Safe Usually inexpensive Usually fast Disadvantages: Sensitive to transparency Confused by specularity and interreflection Texture (helps some methods, hurts others),21,Stereo,Find feature in one image, search along epipolar line in other image for correspondence
14、,22,Stereo,Advantages: Passive Cheap hardware (2 cameras) Easy to accommodate motion Intuitive analogue to human vision Disadvantages: Only acquire good data at “features” Sparse, relatively noisy data (correspondence is hard) Bad around silhouettes Confused by non-diffuse surfaces Variant: multibas
15、eline stereo to reduce ambiguity,23,Active Optical Methods,Advantages: Usually can get dense data Usually much more robust and accurate than passive techniques Disadvantages: Introduces light into scene (distracting, etc.) Not motivated by human vision,24,Pulsed Time of Flight,Basic idea: send out p
16、ulse of light (usually laser), time how long it takes to return,25,Pulsed Time of Flight,Advantages: Large working volume (up to 100 m.) Disadvantages: Not-so-great accuracy (at best 5 mm.) Requires getting timing to 30 picoseconds Does not scale with working volume Often used for scanning buildings
17、, rooms, archeological sites, etc.,26,AM Modulation Time of Flight,Modulate a laser at frequencym , it returns with a phase shift Note the ambiguity in the measured phase! Range ambiguity of 1/2mn,27,AM Modulation Time of Flight,Accuracy / working volume tradeoff (e.g., noise 1/500 working volume) I
18、n practice, often used for room-sized environments (cheaper, more accurate than pulsed time of flight),28,Triangulation,Most scanners mount camera and light source rigidly, move them as a unit Moving the Camera and Illumination,29,Triangulation: Extending to 3D,Possibility #1: add another mirror (fl
19、ying spot) Possibility #2: project a stripe, not a dot,Object,30,Triangulation Scanner Issues,Accuracy proportional to working volume Scales down to small working volume (e.g. 5 cm. working volume, 50 m. accuracy) Two-line-of-sight problem (shadowing from either camera or laser) Triangulation angle:
20、 non-uniform resolution if too small, shadowing if too big (useful range: 15-30),31,Triangulation Scanner Issues,Material properties (dark, specular) Subsurface scattering Laser speckle Edge curl Texture embossing,32,Multi-Stripe Triangulation,To go faster, project multiple stripes But which stripe
21、is which? Answer #1: assume surface continuity Answer #2: colored stripes (or dots),33,Multi-Stripe Triangulation,Answer #3: time-coded stripes,34,Time-Coded Light Patterns,Assign each stripe a unique illumination code over time Posdamer 82,Space,Time,35,InSpeck 3D-DF,36,内容,1 绪论 2 平面碎片的拼接 3 曲面碎片边界线的
22、提取 4 旋转型曲面碎片旋转轴和母曲线的估计 5 旋转型曲面碎片的拼接 6 总结与展望,37,文物,文物是人类在历史发展过程中遗留下来的具有历史、艺术、科学价值的遗物和遗迹。 珍贵的文物经受了不同程度的破坏和损害。 每一次考古发现都会带来大量残缺、破碎的文物。,38,文物修复,文物修复是指从残缺、破碎的文物碎片中清理、修复出完整的文物,还原其本来面目。 修复后的文物可以用于考古研究、博物馆展览、商业文化交流等活动中 文物修复一般经过清理、拼接、粘合、补缺、全色几道工序。,39,文物修复的困难,文物修复技术性强。 修复任务十分繁重,全国现有2000多万件破损文物。 操作不当会造成珍贵文物的进一步
23、磨损和破坏。 大型文物的搬运、拼接、粘合都比较困难。,40,考古现场的文物碎片,41,计算机辅助文物复原,加快文物复原的速度 避免修复过程对文物的损害 降低文物修复的难度 把复原文物的数字模型直接应用于数字博物馆的文物展示和检索中,实现资源共享。 在古生物学、事故分析、医学手术、刑事侦查、娱乐游戏、地理分析、自动装配、计算机辅助设计、化学等领域也有应用背景。,42,辅助修复的内容,拼接、补缺和全色可以利用计算机辅助进行。 数据获取 二维图像: 图像配准 三维数据: 多视数据配准 缺片填补 Image inpainting技术 基于样本的纹理合成 几何数据的空洞填充 碎片拼接 预处理、提取特征
24、局部拼接 整体重建,43,国内外研究现状,美国stanford大学的Forma Urbis Romae项目 美国Brown大学的SHAPE项目 英国Brunel大学与欧洲十几所大学 3D Murale Siggraph2005上Mark Pauly 的反问题 浙江大学潘云鹤院士敦煌壁画保护与修复 西北大学周明全教授兵马俑复原,44,平面碎片拼接的研究现状,自动拼版游戏(jigsaw puzzle) 拼版大小均匀,形状规则 边界拼版 完全匹配 Andrew Glassner彩色照片碎片 利用了颜色信息 曲线匹配 计算碎片间连续匹配的子曲线 碎片之间是完全匹配吗?,45,曲面碎片拼接的研究现状,多
25、视数据配准(multiview registration) 依据视图的重叠部分 空间曲线曲面匹配 曲线的曲率和挠率 曲面的特殊性质 如何提取碎片的边界线? 如何计算边界线的曲率?,46,边界检测的研究现状,没有被三角形链包围的点 基于采样点的Voronoi图 递归最小二乘法 Pearson卡方检验和遗传算法 最小生成树法 精确、整体最优的边界?,47,旋转型曲面碎片,旋转型曲面碎片 出土最多,使用最广泛 最容易破碎 可靠的记时器 形制和装饰的变化反映了文化的分布和传播 考古学家认为陶器是历史的脊柱,48,旋转型曲面碎片的研究现状,三维Hough变换估计旋转轴 M-estimator方法估计旋转
26、轴 向量枚举法估计旋转轴 分两步求解两个自由参数的最小化问题,实现拼接 陶器表面的小装饰物? 重叠检测? 最优拼接?,49,本文的工作基础,山东大学考古数字博物馆 1万余件文物藏品的数字化 100多件文物精品三维数据 文物信息管理系统 网站内容采编系统 虚拟展馆及交互漫游系统 基于Web的多媒体展示系统 计算机辅助文物建模系统,50,计算机辅助文物建模系统,51,本文的研究内容,平面碎片的特征提取 边界线的特征点 边界线的曲率 平面碎片的拼接 曲面碎片的特征提取 边界线的提取 边界线的曲率 旋转型曲面碎片的旋转轴和母曲线 旋转型曲面碎片的拼接,52,内容,1 绪论 2 平面碎片的拼接 3 曲面
27、碎片边界线的提取 4 旋转型曲面碎片旋转轴和母曲线的估计 5 旋转型曲面碎片的拼接 6 总结与展望,53,平面碎片的拼接,非常薄的平面文物碎片一般采用二维图像表示 重点考虑碎片之间一般是不完全匹配的特点,54,拼接流程,碎片的接合一般有Y和T两种类型 接合点至少是其中一条曲线的特征点,55,基于移动向量的数字曲线曲率计算,利用曲线的Taylar展开,56,57,数字曲线特征点的提取,构造尺度特征曲线 用双曲线拟合尺度特征曲线 双曲线顶点对应的尺度作为自适应尺度值,计算特征点,58,所有最长公共子序列的检测,最长公共子序列问题是最长公共子串问题的一般形式,在匹配字符串时允许插入、删除字符,可以用
28、来估计两个字符串的相似程度,相当于允许对曲线进行拉伸、缩短操作,符合物体碎片的拼接情况。 但是一般的LCS算法,只能求出其长度和一个LCS。为了避免丢失正确的拼接情况,需要找出碎片之间所有可能的合理拼接情况,需要检测所有的最长公共子序列(ALCS)。 基于单位四元数的绝对定位方法,根据找出的LCS,计算刚体变换矩阵。,59,重叠检测,60,度量标准,距离度量:变换后的匹配点之间的剩余距离之和越小越好。 长度度量:轮廓曲线的匹配部分越长越好。 变化度量:曲率变化比较大的同样的两条子轮廓曲线,更可能是正确的匹配。,61,实验结果,62,63,内容,1 绪论 2 平面碎片的拼接 3 曲面碎片边界线的
29、提取 4 旋转型曲面碎片旋转轴和母曲线的估计 5 旋转型曲面碎片的拼接 6 总结与展望,64,曲面碎片,用三维扫描仪对碎片表面采样,可以得到稠密均匀的采样点集,称为点云 点集开曲面表示的碎片是指外表面为曲面、厚度非常薄的空心文物的碎片。 点云表示三维碎片比网格表示具有很多优势,65,主要步骤,根据一个点周围的k个最邻近点,计算每个点的边界概率。 为了找到真正的边界点,根据点的边界概率和局部邻近关系构造一个赋权无向图。 利用最大圈算法寻找边界线,保证提取的边界线是封闭的,且是整体最优的。,66,度量标准,最大角度量 半圆盘度量形状度量综合标准,67,典型数据的边界概率值,68,封闭边界线的提取,
30、对邻近点在最小二乘平面上的投影进行Delaunay三角化,如果两个点属于同一个三角形,则定义为相邻。 点云作为无向图的顶点集合 点的局部邻接关系作为无向图的边集合 边的权值提取封闭边界曲线就转换为在赋权无向图中寻找最大圈问题,69,最大圈算法,构造另外一个赋权无向图,70,寻找赋权无向图G的最大圈的问题归约到寻找赋权无向图G的最大完全匹配问题,这可以利用Edmonds给出的多项式时间最大完全匹配算法。 散乱点集的边界线包含的边界点数一般都要大于某个阈值,低于该阈值的边界线不是要寻找的真正的边界线。因此最大圈中包含的顶点数也必须大于这个阈值。,71,实验结果,72,73,最小生成树方法vs最大圈
31、方法,74,内容,1 绪论 2 平面碎片的拼接 3 曲面碎片边界线的提取 4 旋转型曲面碎片旋转轴和母曲线的估计 5 旋转型曲面碎片的拼接 6 总结与展望,75,旋转体,通过旋转轴、母曲线可以完全描述旋转体的几何结构 避免陶器表面小装饰物的影响,76,主要步骤,计算碎片上各个点的法线,并用Plucker坐标表示 采用RANSAC方法估计旋转轴的自由参数 把三维点及其法向量变换到一个通过旋转轴的二维平面上,采用多项式曲线拟合母曲线。,77,法向量的计算,基于Delaunay或Voronoi性质的组合方法 采用最优化的数值计算方法 二次曲面片法 完全最小二乘法,奇异值分解,其最小的奇异值对应的单位
32、向量就是要估计的单位法向量,78,直线的Plucker坐标,三维欧氏空间中的一条直线可以由直线上的一个点和单位方向向量确定。 直线的矩向量与直线上点的选择无关。 单位方向向量和矩向量组成的拼六小组称为直线的标准Plucker坐标。,79,RANSAC算法,RANSAC(RANdom SAmpling Consensus)是一种健壮的估计方法。 基本思想: 针对问题设计一个目标函数 随机取样估计该函数的参数值 把所有的数据划分为所谓的“内点” 和“外点” 寻找最大内点数对应的参数值。 用所有的“内点”重新计算和估计函数的参数值。,80,母曲线的拟合,把每个点及其法向量绕着旋转轴旋转到平面坐标中
33、平面次隐式多项式的一般形式线性最小二乘问题,81,实验结果,82,83,内容,1 绪论 2 平面碎片的拼接 3 曲面碎片边界线的提取 4 旋转型曲面碎片旋转轴和母曲线的估计 5 旋转型曲面碎片的拼接 6 总结与展望,84,旋转型曲面碎片的拼接流程,检测碎片的边界线 估计旋转轴和母曲线 把两块碎片的旋转轴对齐 在两个自由度的搜索空间中,利用边界线、母曲线匹配实现拼接。,85,旋转轴的对齐,变换矩阵,86,边界线的处理,计算边界线的曲率根据边界线的特征点,划分成子边界线 要求对应边界点的法向量方向相同 要求两块碎片上靠近边界点的内点不能重叠,87,优化计算,两个自由参数 在轴方向上的相对位移 绕轴
34、的旋转角度 误差函数Nelder-Mead单纯形法计算,88,实验分析,89,内容,1 绪论 2 平面碎片的拼接 3 曲面碎片边界线的提取 4 旋转型曲面碎片旋转轴和母曲线的估计 5 旋转型曲面碎片的拼接 6 总结与展望,90,总结,提出基于最长公共子序列的平面碎片拼接方法 提出基于最大圈的曲面碎片边界线提取方法 提出旋转型曲面碎片的旋转轴和母曲线的健壮估计方法 给出旋转型曲面碎片的拼接方法,91,研究展望,技术和方法 利用多分辨率技术提高计算速度 利用碎片的多种特征进行拼接,包括几何、纹理、颜色等 一般曲面碎片的拼接方法 文物的整体重建方法 大学数字博物馆建设工程二期建设项目 文物数据库 文
35、物专家的知识和经验 实用化,92,发表&撰写的论文,A New Method to Discrete Curvature on Digital Curves, Fourth International Conference on Virtual Reality and Its Applications in Industry. Edited by Sun, Jizhou; Pan, Zhigeng. Proceedings of the SPIE, Volume 5444, 2004, pp: 75-82 (排名第1位) 一种基于LCS的物体碎片拼接方法,计算机学报,2005年,Vol.28,
36、No.3, pp: 350-356 (排名第1位) 陶器碎片旋转轴的健壮估计,计算机辅助设计与图形学学报,2005年,Vol.17,No.11 (排名第1位) 点云曲面边界线的提取,GDC2005论文集 (排名第1位) 基于快速行进法的区域填充算法,ChinaGraph2004论文集 (排名第1位) 基于快速行进法的区域填充算法,工程图学学报,2005, Vol.26, No.2, pp:31-34 (排名第1位) 陶器碎片的几何结构估计,第14届中国多媒体学术会议 (NCMT2005),2005年10月,中国昆明 (排名第1位) 一种基于可见边的平面细分遍历算法,计算机工程与应用,2002, Vol38, No.16, pp: 201-203 (排名第1位) 基于最大圈的点云曲面边界线提取算法,(正审稿) (排名第1位),