無標記擴增實境實驗平台建置與追蹤技術驗證
•Télécharger en tant que PPT, PDF•
6 j'aime•3,744 vues
無標記擴增實境實驗平台建置與追蹤技術驗證 PPT 擴增實境技術是在真實視訊影像中加入虛擬物件，並透過追蹤與定位技術，可以與人們產生良好之互動效果。在視覺追蹤應用領域裡，可分為標記與無標記兩類應用。標記識別技術較為成熟，目前擴增實境開發平台以採用標記識別為主；至於無標記則侷限在特定方法之識別追蹤應用領域，例如樂高玩具利用包裝盒上之印刷圖片當作辨識物件。面對無標記擴增實境之應用日趨重要，且必須因應不同物件採用不同特徵之識別追蹤方法來達成無標記擴增實境之應用。而目前擴增實境平台並不提供模組化方式來替換識別追蹤方法，因此本文提出無標記擴增實境實驗平台，以現有擴增實境套件ARtoolKit為基礎，整合OpenCV與OpenGL函式庫，並採用模組化方式來設計視覺追蹤方法，做為驗證無標記擴增實境識別追蹤方法之平台，且透過視窗操作選擇不同視覺追蹤模組來呈現各式追蹤方法，以利分析驗證追蹤效能。 關鍵字：擴增實境，無標記，虛擬實境，視覺追蹤，特徵追蹤，自然特徵 ARStudio@國防大學
Recommandé
Contenu connexe
Tendances
Tendances (20)
En vedette
En vedette (20)
Similaire à 無標記擴增實境實驗平台建置與追蹤技術驗證
Similaire à 無標記擴增實境實驗平台建置與追蹤技術驗證 (20)
無標記擴增實境實驗平台建置與追蹤技術驗證
- 1. 學 校：國 防 大 學 系 所：資訊科學系 報告人員：鍾 德 煥 無標記擴增實境實驗平台建置與 追蹤技術驗證
- 2. 擴增實境之標記應用
- 11. 文獻探討 - 基礎運作原理
- 15. 文獻 探討 - 一般之顯示器顯示型
- 20. 文獻探討 - 擴增實境應用 (5/5) Sony 虛擬寵物遊戲 EyePet™
- 25. 文獻探討 – 標記座標系統 圖片來源： ARToolKit 官方網站 圖片修改自： Engineering Navi
- 27. 文獻探討 – 標記追蹤系統 無標記該如何追蹤？
- 33. 現有技術分析 - 現有技術整理
- 36. 現有技術分析 – ARToolKit 函式庫 擴增實境應用程式 ARToolKit API DSVL 函式庫 Direct Show 檔案系統 ARToolKit 函式庫 OpenGL 函式庫 VMRL 3D 模組 硬體驅動程式 3D 虛擬物件 顯示設備 攝影機 命令 事件
- 37. 現有技術分析 – OpenCV 函式庫 OpenCV 應用程式介面 OpenCV 應用程式 CV 圖形處理和 視覺演算法 Aux 輔助函式庫 ML 電腦學習及 統計分類器 FFmpeg FFmpeg 函式庫支援 VS 視訊監控 硬體驅動程式 視訊或影像檔案 顯示設備 攝影機 命令 事件 HighGUI 高階使用者介面 和視訊輸入輸出 CxCORE 基本結構、演算 法和繪圖函式
- 38. 現有技術分析 – OpenGL 函式庫 GLUT (The OpenGL Utility Toolkit) OpenGL Mac OS / Linux / Windows 作業系統 應用程式 Windows 原生使用者介面 AGL XGL WGL GLU 硬體顯示設備 Standard Win GUI WGL 命令 事件 命令 事件 ARToolKit
- 42. 研究方法 – 平台選定 ARToolKit 擴增實境研究 平台尋找與評估 開放式架構 平台選定 提供 整合模式 提供 原始碼 否 是 否 否 是
- 45. 平台建置 - ARToolKit 與 OpenCV 的影像擷取整合 攝影機 OpenGL ARToolkit OpenCV DSVideoLib OpenGL 攝影機 DirectShow 影像處理 視覺追蹤 Read/Write Video stream 影像繪製 攝影機 標記偵測 ARToolKit 與 OpenCV 的影像擷取整合 如何轉換 影像格式 是否一致 BGRA
- 47. 平台建置 - 各應用程式的顯示架構 GLUT (The OpenGL Utility Toolkit) OpenGL OpenCV Mac OS / Linux / Windows ARToolKit AR Studio OpenCV GUI AR Studio Render AGL XGL WGL GLU Graphic Hardware Standard Win GUI WGL
- 49. 平台建置 - 本文開發環境架構 視覺追蹤 模組化設計有何優勢？ 函式庫 擴增實境應用程式 擴增實境開發平台之 SDK 影像擷取 影像繪製 視覺追蹤 模組元件管理 影像處理 追蹤定位 OpenGL ARToolKit OpenCV 影像轉換 擴增實境 幾何處理 影像錄製
- 50. 平台建置 – 本文 開發平台運作架構 影像繪圖模組 OpenCV ARToolkit OpenGL 攝影機 argDrawMode2D argDispImage argDrawMode3D argDraw3dCamera 影像擷取模組 圖形使用者界面 (GUI) 2D 繪圖 影像轉換模組 視覺追蹤模組 3D 繪圖 三維物件 DSVL 無標記追蹤 R/W Camera
- 54. 平台建置 - 視覺追蹤模組設計 影像繪製 如何實現追蹤方法？ 來源影像 影像轉換 影像繪製 為何採用 SURF ？ 為何要結合區域追蹤？ SURF(Speeded Up Robust Features) 局部性 SURF 特徵追蹤結合 區域追蹤 視覺追蹤 應用方法 方法一 (Normal) 方法二 (Tracking) 方法三 (Markerless) 視覺追蹤模組
- 55. 平台建置 – 區域追蹤概念 第 n 幅影像 第 n+1 幅影像
- 56. 平台建置 - 物件追蹤流程
- 58. 目前成果 – 標記偵測
- 59. 目前成果 – 標記偵測（影片）
- 60. 目前成果 – 無標記偵測
- 61. 目前成果 – 多物件偵測
- 62. 目前成果 – 多物件偵測（影片）
- 66. 報告完畢
Notes de l'éditeur
- 樂高 (LEGO) 採用擴增實境之技術，只需要在特殊展示螢幕前，讓展示器辨識到該包裝盒上之商品圖標資訊，就可以在該顯示器看到該款玩具的三維立體動畫展示，讓消費者迅速瞭解並感受此款玩具的特性。 另外，被人津津樂道的魔法書 (MagicBook) 應用，讓閱讀不再是那樣枯燥與呆板，配合三維立體即時互動之呈現方式，會使得書本變的更加生動有趣。 例如中華黃頁的「 hiPage 搜 go! 」，將厚厚黃頁電話簿上的百萬筆店家資料都放到程式中做定位搜尋，其點位資料包含大中小型企業、旅遊景點、便利商店、加油站、餐廳、診所、民宿、巷弄內的鎖匙店、機車行…等等。
- 簡而言之，標記方式需要特別準備標記圖卡來當作操作物件，而無標記則不需要。就應用層面來看， 無標記的應用 將會是擴增實境 未來之研究重點 。 目前既有擴增實境之開發函式庫或開發平台，主要目的為提供擴增實境之應用開發，無法提供 無標記 擴增實境 技術研究方法之驗證。 擴增實境所涵蓋之影像技術 非常廣泛 ，若沒有一個整合開發環境，將 無法驗證 無標記擴增實境技術 之各種方法。 無標記 的應用將會是擴增實境未來之研究重點。 目前既有擴增實境之開發函式庫，無法提供 無標記 擴增實境 技術研究方法之驗證。 擴增實境所涵蓋之影像技術 非常廣泛 ，若沒有一個整合開發環境，將 無法驗證 無標記擴增實境技術 之各種方法。
- 擴增實境起源 1965 年 伊凡 · 蘇澤蘭 (Ivan Sutherland) 提出終極顯示器 (Ultimate Display) 的構想，並在 1968 年建立了第一個虛擬實境與擴增實境的 頭戴顯示系統 。 而在 1970 與 80 年代，美國空軍阿姆斯壯實驗室、航太總署艾密斯研究中心也開始投入研究，直到 1990 年代初「 擴增實境 」這個名詞才被 波音公司 的幾個科學家正式提出。 何謂擴增實境 擴增實境 (Augmented Reality, AR) ，是一種即時運算攝影機影像的位置與角度，並在 真實影像 中 加入 虛擬物件 的一種技術。 此種技術之目的在於將 虛擬物件 融入 真實環境 之中。 擴增實境的應用 可應用在教育、醫學、遊戲、軍事、維修、商業等各種領域中。
- 在 1994 年 Paul Milgram 等人，提出了「真實 - 虛擬連續性 (Reality–Virtuality Continuum) 」的理論，他們將真實環境和虛擬環境分別作為連續性的兩端。 位於 兩邊端點之間 的被稱為「 混合實境 (Mixed Reality) 」。 靠近 真實 環境 的是 擴增實境 (Augmented Reality) 靠近 虛擬 環境 的是 擴增虛境 (Augmented Virtuality) 。
- 從攝影機讀取標記或無標記物件之影像。 分析標記或無標記物件之角度、位置，進行位置及姿態的估算。 載入 3D 虛擬物件，並進行疊加作業。 將 3D 影像依據分析演算的結果，呈現在顯示器上。
- 物件的追蹤與辨識在擴增實境領域可分為 標記 (Marker) 無標記 (Markerless) 何謂標記？ 標記 是一個可以被可靠參考 (Trusted Reference) 的圖形標記，並稱之為基準標記 (Fiducial Marker) ； 標記之擴增實境系統 ，必須經由 特定標記、圖樣 供系統 辨識及定位 。 ARToolKit 標記設計 在黑色正方形中間包含一個白色正方形，可參考套件所附之 blankPatt.gif 圖檔。 白色正方形內之圖案採用黑色、白色或彩色來設計。 白色正方形內之細部圖案最好為非對稱設計。
- 何謂無標記？ 無標記 系統代表擴增實境系統，不須為特定標記、圖樣來辨識及定位，使用者可 自行設計圖樣 或使用 真實物件 來進行辨識及定位。 換句話說，無標記系統採用 自然特徵追蹤 (Nature Feature Tracking) 。
- 這是一種最簡型式的擴增實境系統，除了桌上型顯示器之外，還有一些 手持式顯示 (Handheld Display) ，比如智慧型手機和 PDA 就是現在非常常見到的行動顯示器
- 魔法書是華盛頓大學之人機介面科技實驗室 (Human Interface Technology Laboratory) 所進行之研究計畫，它是使用手持式之擴增實境顯示 (Hand held display, HHD) 方式，將虛擬物件與真實的書整合呈現 2001 年
- Kristina Bötschi(2007) 在有機化學的教學上，就針對採用擴增化學 (Augmented Chemistry, AC) 這一套有形的使用者介面傳統 BSM 模型 (Ball-and-Stick Model, BSM) 這兩種教學方式做一比較 左上方之圖示為使用背投影方式呈現擴增化學使用介面之畫面；右上方圖示為使用右手操作來旋轉立方體，而在標記上方可看到分子結構； 左下方圖示為傳統 BSM 模型的教學設備；右下方圖示為傳統 BSM 模型實際組合的分子結構。 在 2002 年 Shelton 等人 [13] 將其應用在地球與太陽之運作教學上，如圖 2.23 所示，左圖為使用者配戴頭戴顯示器操作畫面；右圖為使用者觀看頭戴顯示器之顯示畫面。這些教學方式可以讓學生有身歷其境的感覺，可以有效的提升學生學習興趣。 Brett E. Shelton(2002) 則提出將其應用在地球與太陽的運作教學
- 2001 年 Vlahakis 等人提出將已經 毀損的古蹟 建築透過擴增實境之技術，在 原址疊加 古蹟原來 的面貌 。 2005 年黃春融提出利用電腦視覺技術來 輔導參觀者 與 展場之間的互動 ，提升參觀者對展場的融入感與互動性；在博物館的應用中，利用 擴增實境 之技術來顯示文物資訊以增加參觀者的 融入感 。
- 日本 Sony 在 2009 年秋季推出適合全家大小一道同樂的 虛擬寵物 遊戲『 EyePet™ 』，透過 PlayStation®Eye 攝影機搭配擴增實境技術，將 EyePet 融入真實環境中，讓玩家以臥房或客廳為舞台，與俏皮 EyePet 進行深度互動。
- 在 3D 圖形處理中將會使用多種座標系統，它們在各自的場合中有其獨特的地方，透過它們之間的轉換，可以簡化圖形程式之開發。 世界座標 系 (World Coordinate) 。 物體座標 系 (Object Coordinate System) 。 觀察座標 系。 設備座標 系 (Device Coordinates, DC) 與正規化設備座標系 (Normalized Device Coordinates, NDC) 。 螢幕座標 系。
- 在很久以來藝術家與建築師都試圖在解決如何用二維方法表示三維物體或場景這樣的一個問題，而其所面臨的問題在現今圖形學的設計者也同樣面臨相同問題。 正交投影 (Orthographic Projection) 是一系列用於顯示三維物體的輪廓、細節或精確測量結果的變換方法。 透視投影 的定義更為複雜。可以將其理解為透過攝影機取景器對於被投影物體進行觀察。攝影機的位置、朝向和視野都將影響投影變換的結果。
- 1999 年由加藤弘一 (Kato) 等人提出基準追蹤系統應用於 ARToolKit 中。 其透過座標轉換將標記座標轉換成攝影機座標。 依據門檻值取得標記的矩形的四條線段。 偵測標記內之圖案並找到具體的對應識別 ID 。 將標記位置透過向量矩陣轉換算出 3D 虛擬物件之位置。 載入圖標識別碼對應之 3D 虛擬物件。 在標記位置上繪製虛擬物件。
- 物件追蹤之前，首先必須能夠區分影像中的前景與背景，根據運動偵測技術的不同，常見的移動物體偵測追蹤方法有三類： 背景相減法 (Background Subtraction) 。 先用一段時間建立一個初步的背景模型。然後，使用目前的圖像中減去背景圖片來偵測移動像素。 時序差異法 (Temporal Differencing) 。 時序相減法最大的優點是不必預先產生背景影像，其基本運作方式是將連續影像中的前後兩個畫格直接相減後得到差異強度影像。 光流法 (Optical Flow Method) 。 光流法就是指偵測光線強弱改變之演算法，也就是以影像梯度為匹配或追蹤基礎之演算法 。 首先是利用物件追蹤 (Object Tracking) 的技術來追蹤動態物體，一旦我們追蹤到物體，就可以做進一步的動作分析。 2004 年， Weiming Hu 等人將物體追蹤的方法可概分成四類 區域式追蹤 (Region-Based Tracking) 假設影像變動的區域即為目標物之位置， 藉由偵測這些變動區域之位置來追蹤目標物。 主動式輪廓追蹤 (Active Contour-Based Tracking) 主動式輪廓追蹤其方法是使用輪廓線 (Contour) 來描述移動的物體，並利用輪廓線之改變來進行追蹤，如 Paragios et al.[24] 就利用這樣的方法來進行移動物件偵測。 特徵追蹤 (Feature-Based Tracking) 特徵追蹤是利用物體的特徵來進行追蹤，首先針對要追蹤的物體擷取特徵，比如重心、色彩、面積、線段與頂點等特徵點。 模型追蹤 (Model-Based Tracking) 模型追蹤的方法將會提供較精細與準確的判斷，因此需要良好的物體結構模型，可加入物體本身之運動特性。 如果只單靠一種追蹤技術可能會因為外在環境之影響，導致萃取之資訊與實際情況有所不同，比如在追蹤過程中找不到相似之處，或者因為交錯之遮蔽影響，結果導致被遮蔽物之部分資訊遺失，所以目前有相關研究 結合多種追蹤技術 ，來確保其追蹤系統運作正常。
- CV ：圖形處理和視覺演算法 ML ：電腦學習及統計分類器 HighGUI ：高階使用者介面和視訊輸入輸出 CxCORE ：基本結構、演算法和繪圖函式 Aux ：輔助函式庫 FFmpeg ： FFmpeg 函式庫支援 VS ：視訊監控
- 既有開發平台均著重在 標記物件 之追蹤，對於 無標記 之 應用有限 。 目前既有擴增實境之開發函式庫或開發平台，主要目的為提供 擴增實境 之 應用開發 ， 無法提供 無標記 擴增實境 技術研究方法之驗證。 開發套件大都為整合函式庫，難以針對 視覺追蹤 部分進行 快速 替換 。
- Unifeye 採用 C# 語言當作開發平台，其擁有良好之 Vizprep 視窗操作介面提供應用開發人員；不過其只提供特定之無標記應用領域之運用，雖然將追蹤模組採用動態連結函式庫 (Dynamic Link Library, DLL) 方式設計，不過只提供利用其追蹤技術與其系統整合，並無可擴展之無標記開發模組設計。另外商業版本之 ARToolKit Professional 也發展出許多套件，而 NFT 套件裡採用 Cutting Edge 的自然特徵追蹤方式來實現無標記之應用；若想在 ARToolKit Professional 上擴展無標記應用，則必須對其與 NFT 套件間之溝通架構有所瞭解。 NFT 套件之訴求為提供 ARToolKit Professional 無標記之應用，而非提供無標記追蹤與辨識模組之設計，在無相關文獻提供參考下，很難利用 NFT 架構來實現無標記擴增實境之辨識與追蹤。
- 從擴增實境的原理中可知擴增實境視覺追蹤之運作流程分成下面幾類 影像擷取。 標記識別、位置及姿態之估算。 3D 物件之繪製這幾個部分。 模組分析與規劃也將依據這些特性將其分類，並且參考既有應用系統架構及相關協定。 擴增實境視覺追蹤之運作流程分成 影像擷取 、 標記識別 、 位置及姿態之估算以及三維物件之繪製 四部分
- 影像擷取：影像來源可以是從單張影像、串流影像或者從檔案中取得，當然這部分取決於開發環境提供多少種 Source Filter ，在這採用 DSVL 函式庫，若有額外需求，再行撰寫其它 Source Filter 。 影像轉換：用來做為影像格式轉換，雖然可以將這一部份整合到 DSVL 這一個 Source Filter 中，然而這樣將會改變整個開放的 DSVL 函式庫，為了避免此種情況，所以將其獨立出一個區塊。 視覺追蹤：這部分為無標記視覺追蹤模組，提供影像研究人員快速替換成自己的影像追蹤模組部分，因為目前的 ARToolKit 不提供無標記的辨識與追蹤，所以要應用在無標記的領域，這部分就必須自行撰寫。 影像繪製：可視覺化系統，除了呈現真實環境影像，並在影像的定位座標上疊加虛擬物件。
- 一張影像往往比千言萬語還有用，所以應用軟體如果能夠適時的使用影像來呈現必要之結果，往往比文字描述來的有效。 以往過去許多研究都使用一個觀察視窗呈現最終之結果，對於非研究人員很難得知處理前後之差異，故本文希望採用多個分割視窗來呈現不同效果之影像。 透過動態方式取得各個視訊追蹤模組之能力，並將其在樹狀結構中描述： 第一階層依據視訊來源特性做類別區分； 第二階層為影像擷取裝置或檔案名稱，名稱由裝置或檔案提供； 第三階層為影像擷取模組之模組名稱，名稱由模組提供； 第四階層為視訊追蹤模組之名稱，名稱由模組提供； 第五階層為視訊追蹤模組所提供之能力，每一個視訊追蹤模組最少必須提供一種能力。