1、1,第八章圖形識別、匹配與三維影像重建,2,8.1 前言,8.2 統計圖形識別8.3 影像間的匹配對應 8.4匹配演算法原理8.5三維影像重建8.6 二維影像的深度計算,8.4.1 動態規劃式的BSSC解法,8.4.2 KMP演算法,8.6.1 稠密式視差估測,8.6.2 相機校正,8.3.1 Harris角點偵測法,8.3.2 SIFT關鍵點偵測法,8.3.3 點集合匹配法,3,8.2 統計圖形識別,貝氏決策理論,假設有二類木頭，A和B，佔P(A)的比例而B佔P(B)的比例， 。已知 。利用木頭的紋理 X 來評估該木頭的種類。,圖8.2.1 P(X|A)和P(X|B)的分佈圖,當 時， ，我
2、們說該木頭為A類，仍會犯誤判的風險，畢竟 仍有機率值。,4,圖8.2.2 P(A|X)和P(B|X)的分佈圖,當 ， ，這時可判斷該木頭為 A，畢竟冒的風險較低，也就是 。去掉 和 的 項，當 時，我們判斷該木頭為A。,5,將紋理由一維擴充到 d 維而將木頭的種類由2種擴充到 t 種。令第 i 類的識別器為 ，此處紋理向量 而 代表第 i 類木頭， 。作用單調遞增函數於上，得,識別器,圖8.2.3 識別器示意圖,如果 為最大值， 該木頭分類為 Tj,6,視窗在影像上的移動，可得到強度變化情形：(1)平面：往任何方向移動僅造成小變化(2)含一條邊：與邊平行的變化量小；反之則大(3)含角點或獨立點
3、：往任何方向變化皆大,8.3 影像間的匹配對應8.3.1 Harris 角點偵測法,7,令 利用高斯函數來平滑雜訊的影響，令綜合灰階梯度變化之影響可表示為,8,函數E是一種局部自我關聯的函數，矩陣M就是函數E的代表。矩陣M的兩個特徵值代表： 和 皆很小：代表視窗內為平滑區 和 中，一大一小：代表含一邊的區域 和 皆很大：代表含角點的區域,圖8.3.1.1 矩陣M的特徵值所代表的意義,9,影響值 R=det(M)-k(trace(M)2決定是否小區域內有角點，判斷的準則為 且 ：代表平滑區 ：代表含一邊的區域 ：代表有角點的區域利用以上方法可以將所有角點找出來。,10,將影像進行縮減取樣 n 次
4、，例如n=2可分成3個影像尺度，進一步利用 m 個不同標準差的高斯函數，例如m=4，高斯函數標準差分別是 ，將不同高斯函數與3個影像尺度作迴積運算： 接著對兩相鄰的尺度做DOG:,8.3.2 SIFT關鍵點偵測法,11,圖8.3.2.1 DOG金字塔,12,考慮每個像素與周圍8個像素及上下層同位置周圍9個像素做比較，如果該像素為極值，則設為候選關鍵點。,圖8.3.2.2 DOG金字塔找極值,13,14,除掉邊上的候選關鍵點，先求出赫斯矩陣 H的特徵值 和 可計算如下:可得,15,16,以剩餘關鍵點為中心的區塊，計算區塊內每個像素的梯度值 與梯度方向關鍵點的旋轉不變性(Rotation Inva
5、riant)。,17,圖8.3.2.3 決定關鍵點的特徵向量,18,圖8.3.2.4 SIFT流程圖,19,20,另一種作法是尋找轉移矩陣 T ，使 ToF 與 有最小誤差。令 ， ，代表 中的 與 中的 之距離引入最大可能(Maximum-likelihood)的觀念，得其中 p(d) 為一常態分佈(Normal Distribution)。匹配的精神就是找一個 T 使得上式有最大值。,8.3.3 點集合匹配法,21,8.4 匹配演算法原理 8.4.1 動態規劃式的BSSC解法,BSSC(Banded String-to-String Correction)之目的為在樣本和正本之間找出最大的
6、匹配點與匹配點的位置。,圖8.4.1.1 匹配結果,將和想像成特徵值。因為視差的關係，只能與 範圍內的特徵匹配到。,樣本=正本=,給一個例子如下：,圖8.4.1.1的搜尋範圍就是黑色粗邊框住的範圍而得到的最佳匹配就是鋸齒形的路徑上之黑圓點集。,22,匹配算子,取代算子R 刪除算子D D(a)= 的花費定為1插入算子I I( )=a的花費定為1,圖8.4.1.1一共含有下列十四個運算(1) I( )=P1 (2)R(T1)=P2 (3)R(T2)=P3 (4)D(T3)= (5)D(T4)= (6) I( )=P4 (7)R(T5)=P5 (8)R(T6)=P6 (9)D(T7)= (10)D(
7、T8)= (11)I( )=P7 (12) I( )=P8 (13)R(T9)=P9 (14)R(T10)=P10,23,動態規劃核心式子,Edit0, k=k Editk, 0=k,表示將T1i轉換成P1j的花費。,edit(Ti, Pj)表示R(Ti)=Pj的花費edit(Ti, )表示D(Ti)= 的花費edit( , Pj)表示I( )=Pj的花費,BSSC的時間複雜度為,n為正本長度，為視差,24,8.4.2 KMP演算法,樣本先進行事前處理 利用樣本中子字串(Substring)與前置字串(Prefix String)的吻合度，並記錄其吻合的長度於陣列 J 中。,P3=a=P1 J
8、3=1P35=aca=P13 J5=3P710=acac=P14 J10=4,KMP字串匹配演算法,T =cccacacaaacaccaa,Ti Pi， 。T413 = P110。T5 P1，T6 = P1 T68 = P13 T9 P4，J 4=2 P1J 4-1=P1=T9- J4+18=T8 陣列J 提供了一個跳躍的機制，讓匹配動作可一直往右前進。,KMP的時間複雜度為O(m + n),25,8.5 三維影像重建8.5.1 稠密式視差估測,問題定義 稠密式視差估測是在L上的所有像素中和R上的所有像素中找到一個對應。二階段式的分割與克服方法,圖 8.5.1.1 稠密視差估測示意圖,(Den
9、se Disparity Estimation),26,27,28,3. 加入消去法則,若兩兩匹配位置的差，形成之序列為 ，則 -2 的視差偏移不太正常，可以予以去除。假設在 列時的平均視差偏移序列為 。若新進來的視差偏移序列為 ，則 16 的視差偏移可予以去除。,29,30,圖8.5.1.5 對應的BBSC搜尋空間,31,32,8.5.2 相機校正,我們有三個座標系統，世界座標系統(World Coordinate System) 、相機座標系統(Camera Coordinates System)和二維的影像系統(Image System) 。 根據三角比例關係，可得 其中 f 為焦距長。
10、,33,理論上 為 投射到影像座標系統的理想位置。因為透鏡輻射效應， 實際投射到的影像座標系統的位置應為 。 滿足下式,34,35,而 為影像的中心座標。 和 的關係可表示如下其中 s 為待解的放大係數。已知 投影到影像座標系統的理想位置為 。進而得到同理可得且,36,37,先解出五個外部參數，在二維影像座標上取一經過原點的向量 ，且在相機座標上取一平行的向量 ，所以得令 則我們得到再利用五組世界座標 和五組底片上的真實座標 就可解出 、 、 、 、 。,38,令則旋轉矩陣可改寫成利用 中每一行向量與列向量為單位長，可得下式其中 。,39,40,令 且 上式可改寫成再利用兩組以上的世界座標 和真實座標 解出 和 。然後以此 和 及令 為初始值來解線性方程式如此即可透過數值的解法求得 的逼近解。,41,8.6 二維影像的深度計算,Epipolar線,圖8.6.1 Epipolar面,42,43,在上式中，我們假設兩不相機相距b，座標系統的原點設在B點。可進一步推得再利用 ，可得到深度為解答完畢,
