![状況適応型可視化とは
Context-aware computing
(状況に応じた賢い処理)の一形態
[White, Feiner, 2009]
↓は「状況適応型可視化」ではない](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Recently uploaded
Recently uploaded (7)
第7章 状況適応型可視化
- 2. 状況適応型可視化とは Context-aware computing (状況に応じた賢い処理)の一形態 [White, Feiner, 2009] ↓は「状況適応型可視化」ではない
- 3. 「状況適応型可視化」の課題を考察し、 様々な研究を見ていくことで、システムの 設計がしやすくなる ◦ 位置合わせ問題に対する対処方法 ◦ ARにおける注釈付けやその配置 ◦ 遮蔽された物体を見るためのX線透視 ◦ (X線透視が利用できない場合) 代替方法、シーンの空間操作 ◦ 様々な形態の情報フィルタリング
- 4. 7.1 課題 データ過多 ◦ 適切なデータ量を表示させたい 位置合わせ ◦ 正しい位置に情報表示させたい 時間的一貫性 ◦ 環境の変化、使用者の視点位置変化などへ の対応
- 5. 7.1.1 データ過多 データを管理する基本的な手法 [Azuma et al. 2001] ◦ フィルタリングと類似データの集約 ◦ 他の可視化データとの干渉を防ぐ配置 プログラム設計上のモデル [Haber and McNabb 1990][Card et al.1999]
- 6. 7.1.2 ユーザーインタラクション 情報探索マントラ ◦ Visual information-seeking mantra [Shneiderman 1996] ◦ 人が情報を探索する際のステップ ◦ 情報可視化の設計に非常に有用 ◦ 成功事例多数
- 7. 情報探索マントラのステップ 概観 ◦ 全体の概要を取得する ズーム ◦ 関心のある項目にズームインする フィルタ ◦ 興味のない項目を表示項目から除外 要望に応じた詳細表示 ◦ アイテムまたはグループを選択し、必要に応じて詳細を取得する
- 8. 7.1.3 位置合わせの誤差 位置合わせは誤解の元。いつでも気を付け ワイヤーフレームを見せて使用者に誤差を実 感させるなどの工夫も良い
- 9. 7.1.4 視覚的干渉 「重要な部分に向くよう促し」 「無関係な実物体によって気が散らないように」 フォーカス(対象箇所。強調表示) コンテキスト(その他の部分。ぼかす)
- 11. 7.1.5 時間的一貫性 人の横切り、照明条件など環境の変化 への対応が必要 仮想物体と実物体の配色も適切に
- 12. 一方で極端な表示の変化は観察者の 注意をそらす 可視化は時間的に一貫性を持った形で 実現されるべき ◦ フレーム補完などを用いて徐々に変化させるなど
- 13. 7.2 可視化物体の位置合わせ 考えられる位置合わせの状況 ◦ 移動可能な物体の局所座標で位置合わせ ◦ 環境に静止した物体、世界座標で位置合わ せ
- 14. 7.2.1 局所座標で位置合わせされる状況適応型可視化 参照される物体を検出する ◦ 検出方法が画像認識などの場合、一意に定まらな いがそれでも良い場合もある(ブランドロゴなど) 植物学者の野外調査支援 ◦ [White et al. 2006] ◦ クリップボードに葉を張り付けると画像認識 による葉の種類を特定する
- 15. 7.2.2 世界座標で位置合わせされる状況適応型可視化 利点 ◦ 世界座標で場所が一意に定まる ◦ 同様に世界座標系で定義された別のコンテ ンツの統合が容易 環境変化のために位置ズレが生じるかも ◦ 代替案:まずGPSで大まかに→近傍の既知の物体の検出
- 16. 地下のインフラ可視化 [Schall et al 2008] インフラから取得されたセンサデータの 可視化 ◦ SiteLens[White and Feiner 2009] ◦ Hydrosys[Veas et al. 2012a]
- 17. 7.2.3 位置合わせの不確かさ トラッキング精度による位置合わせの精 度は常に問題になる トラッキングに問題があると情報が曖昧 になり、誤解を招く原因となる
- 18. 対応方法 ◦ 位置合わせの不確かさに応じて、状況適応 型可視化を適応的に変更 ◦ 物体のシルエットの見かけの大きさを大きく し、誤差が存在していても覆うように表示させ る ◦ 文字注釈を引出し線を用いた表現に切り替 える [Maclntyre et al. 2002]
- 19. 7.3 注釈付け 実世界の物体に、情報を文字注釈の形 で提示 誘導支援、観光案内、整備作業指示 ◦ 対話的な誘導支援システム
- 20. 7.3.1 注釈付の基礎 三次元の文字注釈について考慮すべき 基本的事項 ◦ 内部注釈と外部注釈の区別 ◦ 注釈を適切に配置するための方針 ◦ 適切な表現方法の選択 ◦ 引出線を引くための固定点の選択
- 21. 内部注釈と外部注釈 内部注釈 ◦ 物体のシルエットの中に配置される注釈。物体が部分的 に遮られている場合は、注釈を可視部分の上に配置 外部注釈 ◦ 物体のシルエットの外側に配置 曖昧さを避けるために、あくまでも物体の近くに配置 ◦ シルエットの内部にある固定点と外部にある注釈を引出 線で接続する
- 22. 配置方針 広く使われる配置基準 ◦ 参照する物体の近くに配置 ◦ 注釈同士重ならないように ◦ 外部注釈は他の重要な物体上に表示しない ◦ 各引出線の長さは最小限に ◦ 引出線同士の交差を避ける ◦ 時間一貫性。注釈の位置が突然変化しない ように
- 23. これらの基準を定式化すると、NP困難である制 約付き最適化問題に帰着する 解は経験則的な最適化方法を用いて計算可能 既発表の手法：比較的単純な貪欲法で、注釈を 順序づけて、一つ一つに対して適切な配置位置 を見つける [azuma and furmanski 2003]
- 24. 領域表現 画像の各画素が ◦ 注釈付けされる物体 ◦ 注釈で邪魔してはいけない重要な物体 ◦ 注釈を自由に配置できる背景 の、いずれかに属するかを考える
- 25. 配置された物体のバウンディングボック スを用いた方法 ◦ [Bell et al. 2001] 画像のサンプリング(画像解析) いずれの方法も隠面消去(オクルージョン)が 重要となってくる
- 26. 固定点(引出線)の選択 現在のフレームで見えている物体表面状のから選択 ◦ 凸型の物体、もしくはバウンディングボックスのみ しか取得できない場合 重心位置を固定点にする ドーナツ型領域の場合、中央の穴が重心位置になるなどの 問題がある ◦ 任意の物体を対象にする場合 モルフォロジー(CVにおける図解解析処理)を利用 こちらがより頑健
- 27. 7.3.2 最適化手法 配置の問題も最適化問題として定式化 ◦ すべてのフレームに置いて解く必要があるの で効率的に 引力・反発力を用いた最適化 バウンディングボックスを用いた疎な定式化 GPUを用いた密な定式化
- 28. 引力・反発力を用いた最適化 画像空間に設定された力場を利用した 定式化 ◦ [Hartmann et al. 2004] 力場モデルでは磁石のような力を注釈に 対して適用する
- 29. 力場モデル ◦ 物体の画面上での投影像からの引力 ◦ 物体の境界から受ける反発力 ◦ 他の物体の投影像から受ける反発力 ◦ 画面境界から受ける反発力 ◦ 他の注釈から受ける反発力 これらを加重平均を用いて統合
- 30. 力場モデルの計算手順 ◦ 経験則的に注釈の初期位置を設定する ◦ 力場の勾配に沿って力の最小値が見つかる まで移動させる ◦ 互いに干渉しあう注釈は、大きな注釈を優先 する ◦ 単純な貪欲法により動的に位置調整される
- 31. バウンディングボックスを使用した最適化 物体形状のバウンディングボックスで近似して 計算 [Bell et al. 2001] 物体が十分大きければ内部注釈にする
- 32. 物体が十分小さい場合、外部注釈 手前→奥の物体の順で注釈を優先させる 貪欲法で位置決定 位置決定方法はほかにもある 注釈を配置した後は、その注釈が占有する領域は、 他の注釈を配置できない領域になる
- 33. GPU上での最適化処理 GPUの計算能力を活用して、可能な注釈 配置を貪欲法を用いて実時間で最適化 [Stein and Decoret 2008] ボロノイ図を使った近似的な優先順位づ け
- 34. 7.3.3 時間的一貫性 配置位置が最適化されてフレームごとに 大きく変化すると不安定である ◦ 注釈な大きな移動にペナルティを与えるヒステリシス 制約を用いる 現在だけでなく、過去の状態にも依存して評価が 決まる制約 注釈を大きく移動させる必要がある場合はフ レーム補完で滑らかに遷移させる
- 35. 三次元空間の内の移動への対応は三次元のトラッキ ングが有用 ◦ [Pick et al. 2010] 三次元注釈の構成要素 ◦ ビルボード(常にカメラのほうに正対する仮想的な板) ◦ 三次元の棒(二次元注釈の引きで線に相当) ◦ 実物体上の固定点
- 37. 機械学習を使用して、背景上のテキスト の可読性を自動的に判断する手法 [Leykin and Tuceryan 2004] 特徴点が存在しない領域を探す手法 [Rosten et al. 2006] 彩度、輝度の分散から視認性を計算 [Tanaka et al. 2008]
- 38. 7.3.5 明瞭性 重畳される情報が十分な大きさであるか 充分なコントラストがあるのか
- 39. 光学透過型ディスプレイにおける様々な 背景上での文字の可読性の調査研究 [Gabbard et al. 2007] ◦ 可読性を決定する要素 背景と強調色のコントラスト(ビルボードの色・輪郭) 強調色と文字のコントラスト ◦ 緑の飽和色(0, 255, 0)を強調色として設定す るとよい結果[同 2006] ◦ 一番良いのは 「適応的に背景色に応じて強調色を変える」 こと
- 40. 7.4 X線透視
- 41. 遮蔽する物体を適応的な透過度で描画 する ◦ 遮蔽している物体を容易に理解できる程度 に隠された物体を見せる ◦ ゴースティング(ghosting)、半透過表現
- 42. 7.4.1 物体空間で処理する半透過表現 ファントム描画法(6章) ◦ Zバッファに基づいて、可視かどうかを識別 ARにおける半透過表現 遮蔽される仮想物体の全画素について、 遮蔽度合い(もしくは透明度、α値)を決定する
- 43. 7.4.2 画像空間で処理する半透過表現 ビデオ映像で遮蔽する実物体を検出する エッジ検出器の使用 ◦ すべてのエッジを検出すると煩雑 マジックレンズ(第2章)で対象領域を限定 仮想物体の画像上の位置を計算
- 44. 顕著性の利用 ◦ 色相・明度・向き・動きなどによるコントラストの 組み合わせ ◦ 観察者の視線を引き付ける [Treisman and Gelade 1980] ◦ 各画素の透明度を、遮蔽物体と被遮蔽物体の画像の 顕著性の差によって決定する手法 [Sandor et al. 2010b] ◦ SuperPixel(似た傾向を持つ画素をひとまとめにした領域) ごとに顕著性、透明度を決定する 結果が煩雑になりにくい [Zollmann et al. 2010]
- 45. 7.4.3 Gバッファによる実装 半透過表現の実装にはGバッファが使用 される ◦ Geometric buffer, G-buffer ◦ NPR法(6章参照) グループごとに描画スタイルを適用
- 46. 7.5 空間操作 シーン内の物体を空間的に操作(再配置、 変形)させて、表示したい関連物体のた めの空間を確保する ◦ 現実物体でも仮想物体でもよい 二種類の空間操作方法を見る ◦ 立体分解図 ◦ 空間変形
- 47. 7.5.1 立体分解図 物体を頭の中で再構築できるように各部品を 配置して表現する ◦ 部品を飛び散るように展開させ、適切に配置する 実物体の再配置も効果的 ◦ ビデオテクスチャ付きファントムを用いる
- 49. 7.5.2 空間変形 立体分解図を適用するスペースがない場合 融解型可視化技術 [Sandor et al. 2010a] 多視点図法 ◦ 多視点分の情報を1視点内に結合する [Veas et al. 2012b]
- 51. 7.6 情報フィルタリング 知識ベースフィルタ ◦ 「使用者にとっての重要度」という知識を利用 してフィルタリング 空間フィルタ ◦ 画面空間・物体空間に配慮したフィルタ
- 52. 7.6.1 知識ベースフィルタ KARMA ◦ Knowledge-based augmented reality for maintenance assistance ARのための知識ベースフィルタ [Feiner et al. 1993] 一連の目標を表す技術説明図を作業者の状態に応じ てARにより提示する 手順ごと、ゴールごとに表示される情報が制限される
- 53. 7.6.2 空間フィルタ 例 : 注釈付けアルゴリズム ◦ 観察者からの距離が遠くなる順に注釈表示 一定の距離より離れると注釈は表示しない
- 54. 空間フィルタは対話的制御と組み合わせ られる ◦ マジックレンズ[Bier et al. 1993] レンズ内の情報が描画される ◦ 3次元空間におけるマジックレンズ 画面空間のマジックレンズ フラットマジックレンズ 物体空間のマジックレンズ 体積的マジックレンズ いずれも重畳表示する情報の範囲を制限する
- 55. 手持ちのマジックレンズ [Looser et Al. 2007］ ◦ HMDを被り、トラッキングされた柄を握り、柄 の先はHMD内でマジックレンズになっている
- 56. 透視トンネル[Bane and Hollerer 2004] ◦ 画面内の領域を選択すると、使用者の位置 から視線方向に透過エリアが伸びていく
- 58. 7.6.3 知識ベースフィルタと空間フィルタの組み合わせ Focus-nimbus[Juloer et al. 2002] ◦ 重要度と使用者と物体との距離の両方を考 慮すべき ◦ 使用者の現在位置とタスク情報を用いた焦 点(focus)領域 ◦ 各物体の属性を用いた後光(nimbus)領域
- 60. 関連性の低い情報の表示を完全に消す のではなく、適切な形に修正するのが理 想 フィルタによるデータ削除ではなく、 クラスタリングによって関連するデータ点 を集約 [Tatzgern et al. 2016]
- 62. 注釈を再帰的にクラスタリングすることで 情報の階層構造を構築することを提案 言葉の意味的な階層構造と類似 空間属性(距離など)と非空間属性(意味 タグなど)の重み付き和により、各データ が関連性の高い順にランク付け 使用者は対話的に情報、フィルタの選択 も可能
- 63. 7.7 まとめ 可視化 ◦ どのように情報が表示されるかを決める問題 状況適応型可視化 ◦ 実物体に付与される情報を表示する 注釈付け技術 ◦ 可読性を下げる配置や煩雑さを避ける
- 64. 透視型の可視化 ◦ 隠れた、目に見えない構造を明らかにできる 情報フィルタ技術 ◦ 作業に依存した情報を適切な量だけ提示する