1、各種記錄眼球運動的方法,、眼電圖法(Electro-Oculography,EOG) 、搜尋線圈法(Search Coil,SC) 、紅外線視訊系統(Infra-red Video System,IRVS) 、Purkinje影像追縱法(Dual-Purkinje-image,DPI) 、紅外線眼動圖法(Infra-red Oculography,IROG),眼電圖法（Electro-Oculography,EOG） 是利用電極的原理來測量眼睛的移動，首先須在眼睛附近上、下、左、右的皮膚上分別貼上四個電極，當眼睛在移動時，電極將產生不同的訊號，我們在依照這些不同的訊號，來判斷眼球運動的情形。由
2、文獻記錄得知，此方法大約可以有效的辨識出3度左右的眼球水平偏轉角度，及5度左右的眼球垂直偏轉角度。但是此法必須將電極貼在皮膚上，由於皮膚電阻會因為使用中皮膚角質的不斷分泌而逐漸改變，造成電訊號的不穩定。且不適合長期的配帶使用。,眼電圖法(Electro-Oculography,EOG)利用眼球周圍皮膚的電位差異來做追蹤,眼球左右偏轉時電極間所產生之正負電壓差,搜尋線圈法（Search Coil,SC） 此法是利用電磁感應的原理來測量眼睛的移動，此法是將幾個感應線圈包在矽膠製成的軟式鏡片中，然後再將軟式鏡片配帶在眼睛上，並且在眼睛的四周加上固定的磁場，而當眼睛在移動時，同時會牽動軟式鏡片，使鏡片
3、中的感應線圈因為磁通量的變化，而產生不同的感應電動勢，然後依據感應電動勢的變化來記錄分析眼球的運動。使用此法時，很容易受到使用者當時眼睛狀況的影響，如眼淚分泌量或過敏的體質。在使用時為了避免眼睛的不適，必須在使用的同時，不斷的滴上人工淚液。而且此鏡片為雙層構造，因此會影響使用者視力。,紅外線視訊系統法（Infra-red Video System,IRVS） 是利用影像追蹤的方法來記錄眼睛運動狀況。首先必須在CCD旁加裝一個紅外線光源，而此紅外線光源是照射在眼睛四周，然後再將CCD鏡頭調整向眼睛中央位置。當眼睛在移動時，CCD不停的擷取眼睛影像，再將影像透過電腦做影像的分析，此方法最大的優點是
4、可以計算出瞳位移動的位置及曈孔的大小。在以前的文獻研究中，此法最大的考慮是影像處理的速度，但是因為現今電腦速度的不斷提升，因此在速度方面的問題可以大大的改進，而且它是屬於非接觸性的測量。本次的光學式瞳位追蹤研究是屬於此方法的一種，我們另外提出一個新的搜尋法則，來改善速度上的問題。 論文介紹,紅外線視訊系統(Infra-red Video System,IRVS),瞳孔中心角膜反光點法目前成大醫工研究所購置的”Eye-gaze ”系統即採用此技術。,若系統採用紅外線或是近紅外線之光源來照射眼部時，則因為瞳孔對紅外線的反射性低，而虹彩對紅外線的反射性較高，會造成影像中瞳孔與虹彩的亮度差異變大，而虹
5、彩與眼白之間的亮度差異變小。此與一般白色光源不同的特點，可使我們較易取出瞳孔的輪廓外圍。這種利用檢測瞳孔位置來判斷視線方向之追蹤技術稱為瞳位追蹤（Pupil Tracking）。由於虹彩內圍（即瞳孔輪廓）較虹彩外圍來的清晰明確，且較不易被眼瞼遮蔽到，因此瞳位追蹤相較於異色邊界追蹤有較高的解析度。,Purkinje影像追蹤法（Dual-Purkinje-image,DPI） 是利用當光線經過眼球組織時，由於眼睛各個組織折射率的不同，來產生光源的反射影像，這些光源的影像稱之為Purkinje-image，通常可以觀測到四組影像。其中第一種Purkinje-image是光源反射在角膜與眼球前空氣的表
6、面，第四種Purkinje-image是反射於水晶體與眼球內部的表面，其他兩種Purkinje-image，由於反射量太小，通常忽略不計。此法便是檢測第一種及第四種Purkinje-image來偵測眼球運動情況。,第一組Purkinje-image是光源反射在角膜前方與空氣接觸之表面；第四組Purkinje-image是反射於水晶體與眼球內部的表面；其他第二與第三組Purkinje-image因為反射量太小，通常不易觀測到。美國伊利諾大學的Amnesia實驗室所研發的 “Dual Purkinje Image Eyetracker”，便是利用第一及第四個Purkinje-image來偵測眼球運
7、動的方向。此量測方法的特點是相當精確，不過量測Purkinje-images的設備價格相當昂貴，因此無法被普遍的採用,紅外線眼動圖法（Infra-red Oculography,IROG） 是利用紅外線光源在眼角膜邊緣的反射差異，來檢測眼球運動狀況。此法首先要將數個紅外線光源LED及紅外線接收器架構在一起，然後以固定角度照射在虹膜四周，由於黑色虹膜反射效果很低，大部分的光會被吸收，而白色鞏膜部份幾乎會將紅外線完全反射，此法將依此特性來檢視眼球運動。論文介紹,“以眼球控制之殘障者人機介面系統紅外線視動滑鼠”國立台灣大學電機工程研究所碩士論文, 06, 1997.蔡金源,本論文架構共分七章，茲將各
8、章概要分述如下：、提出本系統的研究動機、方法與預期目標、回顧眼動記錄法的歷史，陳述幾種主要的眼動記錄法 、評估本研究所選擇的紅外線眼動圖法(IROG)，其所發出的紅外線光波對眼睛組織的影響，以作為設計系統時的安全考量。、根據本系統之功能著手設計各部份的硬體電路、設計軟體視窗以控制電腦游標、實驗結果與討論本系統的優缺點、提出結論與指出未來可能的應用 附錄、其他相關文件與硬體元件的資料,一般的醫用雷射的安全標準是係根據ANSI（美國國家標準協會）所定之Z-136.1雷射使用安全標準。此等安全標將各種雷射或用雷射的機器所放射的能量光強度分為四種類：,本系統的設計是直接將紅外線LED照在眼球表面，因此
9、必須對紅外線LED的輸出功率作一限制，以確保眼睛不會受到紅外線光的影響。所以我們以Z-136.1的第一級雷射光的功率限制，不會對眼睛造成傷周的安全標準，來推導出紅外光LED光功率對眼睛的安全限制值。,第一級雷射中，眼睛最大容許照射功率(MPE)之紅外線波段限制值,其中CA=10(0.002(-700) =700-1050 nm,硬體電路設計 本系統使用10個小的紅外線光源LED（波長約950nm）排列成一直線，所發出之紅外線光由固定方位打在眼球表面，並以水平與垂直方向各兩組紅外線接收二體陣列，來接收眼球轉動中虹彩與鞏膜不同反射率之紅外線強度。視動位置信號之偵測係利用LVDT(Linear Va
10、riable Differential Transformer)偵測位置的差動原理，設計差動放大電路以比較水平左右與垂直上下兩組紅外線接收之反射量。因此當紅外線光完全照在虹膜上時，兩組紅外線接收之反射量相同，差動輸出之電壓值為零；當眼球轉動致使紅外線光部份落在鞏膜上，此時差動輸出之電壓隨眼動的角度而改變，差動輸出之電壓隨眼動的角度而改變，差動輸出之電壓性與大小與眼動方向呈線性之關係，利用此方法即可偵測眼球之位置。,左：IROG方式之紅外線光打在眼球的位置 右：輸出電流與眼球運動角度之轉換曲線關係,IR模組,硬體電路圖,為配合每一個人因眼睛的大小、組織與臉形之不同所導致配帶上的IR module
11、眼鏡支架與眼球相關位置之微小差異，致使紅外線光接收的感度不同。使用者必須在開始使用視動滑鼠前，利用簡單的校正程式，先取得配帶者之眼睛組織對紅外線光反射量的資訊，以此為參考來控制電腦游標的移動。,由於之前本實驗室研究偵測眼動的方式採眼電圖法(EOG)，軟體係採用眼睛看至螢幕上的何處，滑鼠的游標即跟著移動到眼睛看的位置上。此種控制方式，缺點在螢幕解析度之限制，只能將螢幕劃分為九宮格的方塊，無法作更小的位置判別，畫面上有些位置並無法精確而穩定的到達，因此基於以上的原因，本系統提出了類似電腦搖桿相對位置之軟體控制方式來控制游標之移動。曾討論過的微調動作,瞳位追蹤應用於眼控系統及眼球動態量測儀器之製作與
12、分析 Development and Analysis of Eye Tracking System and Eyes Behavior Measuring Device 指導教授：林宸生 作者：詹永舟 使用線影像感測器架構之眼球軌跡追蹤裝置 An Eye ball Tracking Device Using Linear Image Sensor 指導教授：林宸生 作者：陳俊達 光學式瞳位追蹤器之人機介面系統研製 The Human-machine Interface of An Optical-type Eye Tracking Device 指導教授：林宸生 林南州 作者：簡志忠,頭配型
13、瞳位追蹤系統之組成包含下列各設備： 個人電腦一台（CPU：Pentium 350，記憶體：64MB ，顯示卡：S3 savage 3D/M含TV-out），用來執行系統之瞳位追蹤程式，輔具程式以及眼球動態記錄程式。 影像擷取卡一片：FOCUS Enhancements 公司之InVideo/PCI，目的在轉換CCD攝影機的視訊系號成為電腦可處理之數位信號。 CCD攝影機一台，用來擷取使用者之眼球影像。 5W燈泡一只，用來作為系統之光源。 頭配顯示器一架，用來讓使用者觀賞電腦畫面用，包括執行系統之初始校正，操作眼控程式與瀏覽其他作為分析眼球動態資料用之畫面。 影像處理用軟體：Borland C+
14、 Builder。,打光前後之眼球影像的灰階亮度統計圖,打光前後之眼球影像差異,在眼球追蹤的技術上，最主要是眼睛特徵的萃取(Feature Extraction)。眼睛特徵萃取的研究工作在近些年來有一些報告，這研究工作可分為兩種不同的形式，(a).利用稜邊局部訊息的綜合來做基礎，(b).另一種是利用整體訊息的可形變樣本方法。在第一種形式中有下列幾種例子，(1).使用Hough轉換來尋找眼睛的位置，這裡的虹膜(iris)是以圓為模型而且眼睛邊界是以指數函數為模型。(2).是建議先找出眉毛的位置並且以兩眼中心最小為眼睛的位置。(3).是發展一個系統先完成基本模型的分割，並且利用眼睛之對稱與瞬間改變
15、來測定眼睛的位置。在第二種形式中有下列幾種例子，(1).由Yuille et al.所提出的可形變樣板法。(2).是應用醫學上臉的影像方法。而不管是使用何種形式，搜尋工作將是重要且耗費多時。因為眼睛在臉部只是一小部份，所以搜尋(search)工作便是找出眼睛視窗大約的位置，以便眼睛特徵萃取及分析。,前級搜尋前級搜尋處理就是從單一的臉部影像中找出眼睛的特徵的初始位置，也就是搜尋眼睛視窗影像。而前級搜尋處理是眼睛特徵萃取、描述中一個非常重要的過程，在此過程中常常要發費很多的時間。在以前已有許多的專家利用多種的法則來達成此搜尋處理。如稜邊搜尋分析法(EDGE PROJECTION ANALYSIS)
16、此分析法為一種典型的影像處理技巧，其利用臉部影像之分析所產生的水平梯度(horizon)及垂直梯度(vertical)加以投影分析而產生Histogram的特性圖，再利用Histogram分析方法，配合臉部五官特徵的所在位置，來找出眼睛的初始位置。而班點偵測法（THE BLOB DETECTION）是由Hallian所提出的一種方法，其是利用眼球理應為暗區而其周圍應為較亮之區域，再依明暗對比即可用一些數學運算來偵測眼球所在的位置。,對角方格搜尋法 首先我們建立兩個搜尋方格,如果在line a 上所有的灰階值(gray level)皆小於臨界值(threshold)，則a=1;若皆大於臨界值，則
17、 a=0 .同理用於 line b , line c , line d , line e。如果在line f 上所有的灰階值皆大於臨界值;若皆小於臨界值，否則 f=0 .同理用於 line g , line h , line i , line j line k , line l , line m , line n , line o .,幾種可能發生的feature,特徵1：全為暗色。其可能為背景或為頭髮、眉毛部份。 特徵2：全為亮色。其可能為臉部其他的部份。 特徵3：中間的部份為暗色，周圍為亮色。 特徵4、特徵5：暗色部份集中於右下方。 特徵6、特徵7：暗色部份集中於右上方。 特徵8、特徵9：
18、暗色部份集中於左下方。 特徵10、特徵11：暗色部份集中於左上方。 特徵12、特徵13：暗色部份集中於右方。 特徵14、特徵15：暗色部份集中於左方。 特徵16、特徵17：暗色部份集中於下方。 特徵18、特徵19：暗色部份集中於上方。,從擴張方格的左上角到右下角做逐一畫素掃描，並且做樣板比對，若樣板比對吻合則搜尋停止，記錄眼球中心座標，並結束此演算法。,眼睛樣版由於虹膜（iris）為臉部顏色較深的部份，所以在臉部影像經過二值化後，將會被分離出來。而虹膜在二值化後的影像近似一個圓，因此我們建立一個眼睛樣板，和前級搜尋處理後所找出眼睛視窗的大約位置來做比對，來萃取(extraction)眼睛的最佳
19、特徵。,開放式影像擷取之樣板比對,樣版,瞳孔中心座標之線性轉換由於CCD本身可能旋轉一個角度，且因為系統由下往上取像和眼球表面弧度的關係，使得影像中的眼球中心座標呈現扭曲與旋轉的現象，。因此我們在校正步驟所得的五個參考點座標其分佈亦非線性。為克服此問題，我們將五個座標點皆予以座標轉換。其轉換後之座標如下：,1.眼球弧度造成校正參考點並非排列在一直線上 2.以五個校正參考點為主軸的座標轉換,1 2,螢幕注視點之計算與滑鼠控制 座標轉換的目的在線性化眼球中心點與校正參考點之間的相對距離，以計算正確的螢幕注視點(Dm,Dn),線性定位法演算 因為我們現在是採用點校正，故現以五個校正點的情況來作一個說
20、明。因為校正每個校正點均會得到遮蔽區域質心位置及遮蔽區域大小這樣的一組數據，所以在做完五點校正之後會有五組這樣的數據。其所相對應的分佈位置及對應的平面XY座標皆如圖所示。,組已知的校正點數據及其實際對應的注視點座標,型樣識別光學式瞳位追蹤器最主要是利用眼球影像不停的擷取、分析，來判斷眼球的注視點，並且如同前述所言，當眼球注視同一點時，由於眼球不自主的顫動，也會造成眼球影像分析後，眼球注視座標的不盡相同，而是呈現群聚的座落方式。因此，每一筆影像分析後的資料，是不斷的更新，而且不停的跟前幾筆資料做比較並執行群化的動作，來判斷分析後的資料是屬於何類群組，以利注視座標的判斷。,幾何決策定理（Geome
21、tric Decision Rule）當我們處理一筆龐大而且未知的資料時，我們常常會先對這些資料作一群化（clustering）動作，而群化的目的就是將一群未知的資料，使用一些法則，將具備有相同特徵的資料群化歸類。而群化的方法有許多種，而在光學式瞳位追蹤研究中，因為我們觀看螢幕畫面的注視點是屬於自我控制，所以不適合使用機率的法則來作群化。因此，我們採用幾何決策定理來作群化法則。幾何決策定理必須先將一群已知的資料作分析，再依照相同的特徵，訓練一區別函數（discriminate function），來將相同特徵的資料加以群化，將不同特徵的資料分離。必要時我們還可以加強其特徵的強度，使得群組與群組
22、之間的距離更加明顯。當區別函數訓練完後，我們再將此區別函數做為圭臬，對未知的資料作群化。,資料的群化,A Remote Video Eye Tracker Alejandro Backer and Eva Peral California Institute of Technology f 139-74,128-95 g Pasadena, CA 91125 E-mail: alexcaltech.edu, evacco.caltech.edu June 9, 1997 Technical report, CALTECH, CNS 248,Contents-1 1 Introduction 2
23、 The Computational Task 3 An Overview of the Algorithm 4 Localization of Relevant Features 4.1 Rough approximation to pupil position 4.2 Location of eye pupil and corners using template matching 4.3 Location of eye pupil and corners using contour detection lter 4.4 Location of eye pupil and corners
24、using orientation map 5 Preliminary Results with Stationary Head 6 Acquisition of Training and Testing Set,Content-2 7 Extracting Gaze Direction from Feature Sizes and Locations 8 Hardware & Software Implementation 8.1 Image Database 9 Results 10 Future Prospects 10.1 Real Time Implementation 10.2 Towards a User-Independent System 10.3 New Algorithms 10.4 Towards the Processing of Image Sequences and Control Commands,
