Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à データサイエンス概論第一=7 画像処理
Similaire à データサイエンス概論第一=7 画像処理 (7)
Plus de Seiichi Uchida
Plus de Seiichi Uchida (20)
データサイエンス概論第一=7 画像処理
- 1. 1 九州大学大学院システム情報科学研究院 データサイエンス実践特別講座 データサイエンス概論第一 第7回 画像処理 システム情報科学研究院情報知能工学部門 内田誠一 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 2. 2 データサイエンス概論第一の内容 データとは データのベクトル表現と集合 平均と分散 データ間の距離 データ間の類似度 データのクラスタリング （グルーピング） 線形代数に基づくデータ解析の基礎 主成分分析と因子分析 回帰分析 相関・頻度・ヒストグラム 確率と確率分布 信頼区間と統計的検定 カテゴリカルデータの検定(予定) 時系列データの解析 異常検出 画像処理 パターン認識と深層学習 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 3. 3 画像とは？ 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 4. 4 2値画像，濃淡画像，カラー画像 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 5. 5 ２値画像 50 100 150 200 50 100 150 200 0 0.25 0.5 0.75 1 50 100 150 200九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 6. 6 濃淡画像 50 100 150 200 50 100 150 200 0 100 200 50 100 150 200 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 7. 7 カラー画像 R成分 G成分 B成分 = + + 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 8. 8参考(飛ばしてＯＫ) 8 波長と光 「可視光」 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 波長＝380nm 750nm あれ？ 色って Ｒ＋Ｇ＋Ｂでは？？ wikipedia
- 9. 9参考(飛ばしてＯＫ) 人間による色の「知覚」はいい加減？ 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 単一波による黄色 RとGを 混色して できる 黄色 (波形としては全然違うのに)人間はこれらを区別できない！
- 10. 10参考(飛ばしてＯＫ) 人間の視細胞 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 wikipedia 青錐体 赤錐体緑錐体 wikipedia biz.websuccess.jp/cud/colorsense/
- 11. 11参考(飛ばしてＯＫ) 11 RGB表色系 R（赤、 700nm） G（緑、 546.1nm） B（青、 435.8nm） この3原色の混ぜ具合によって，色を表現 色=α R + βG + γB (α,β,γ) の３つの数字で色を表す 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 12. 12参考(飛ばしてＯＫ) 12 マンセル表色系とHSV表色系 色相（Hue) 彩度(Chroma) 明度(Value) 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 RGB表色系から 擬似的に変換可能 (HSV表色系とか HSI表色系と呼ばれる） V成分を取り除けば 照明変動に強い 画像表現が可能！
- 16. 16 コンピュータに画像が保存されるまでの処理 ～標本化，量子化，そして圧縮 いわゆる「アナログ→ディジタル変換」と画像圧縮 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 17. 17 標本化： デジタル画像生成の第一歩 点（画素）の集合連続的 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 アナログ世界 デジタル世界
- 18. 18 標本化の方法： 有限個の撮影素子のそれぞれが光強度をセンシング 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4http://www.kayoo.org/home/mext/joho-kiki/ より引用
- 19. 19 標本化周期（解像度）による画像の変化 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 640x480 320x240 160x120 80x60 信号の細かさに比べ解像度が 低すぎて生じる偽信号(エリアシング)
- 20. 20参考(飛ばしてＯＫ) 20 標本化に関する余談： 条件を満たせば完全にアナログ情報を戻せる 「シャノンの標本化定理」 ＝「もともとの模様の細かさ(周波数)が分かっていれば，それ以上に細かく標本 化すれば，元に戻せる」 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 点（画素）の集合連続的 アナログ世界 デジタル世界
- 21. 2121 量子化(quantization)の概念 連続量→（四捨五入的処理)→離散量 必ずロスが発生（元には戻らない） 量子化 0 1 2 3 4 (4,0,4,4,3,3,3,1,2,1,0)(1.74, -2.034, 2.897, …..) 量子化 誤差 標本化された信号 標本化＋量子化された信号 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 22. 22 量子化レベルによる画像の変化 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 256(8bit) 64(6bit) 32(5bit) 16(4bit)
- 23. 23 量子化レベルによる画像の変化(つづき） 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 8(3bit) 4(2bit) 2(1bit)
- 24. 24 量子化レベルによる画像の変化 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 RGB各256レベル (8bit×3=24bit) 64(6bit×3) 32(5bit×3) 16(4bit×3)
- 25. 25 量子化レベルによる画像の変化(つづき） 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 RGB各8レベル (3bit×3) 4(2bit×3) 2(1bit×3)
- 26. 2626 画像圧縮～種類と応用先 可逆符号化 X=X’ 医用画像，文化財（古文書）保存，リモートセンシング画像 圧縮率 1/2 ~ 1/3 程度 非可逆符号化 X≠X’ but X≒X’ 通信用画像(Web上の画像，デジカメ画像)，動画 圧縮率1/10 ~ 1/50 ~.... 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 画像X → 圧縮 → 復元 → X’ 普通のJPEGは こちら
- 27. 27 画像は各周波数に分解できる 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 低 高 低 高 水平周波数 垂直周波数
- 28. 28 JPEGの原理:小ブロック毎に周波数分解 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 低 高 低 高 水平周波数 垂直周波数 周波数 成分に 分解 値の大きな成分は低周波数域に集中する（energy compaction) 8x8ブロック
- 29. 29 最も低い周波数成分だけで表現 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 30. 30 もう少しだけ使って表現 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 31. 31 拡大版 ブロック歪みが良く見えます 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 33. 33 以前やった，以下の話と全く同じ！ 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 高周波数 成分が 相当する
- 34. 34 ブロック歪み(block-noise) 量子化 粗量子化 密 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 36. 36参考(飛ばしてＯＫ) 36 可逆圧縮 PNG 汎用圧縮方式 (LZ77圧縮)が中心技術 似たパターンが繰り返し出現することに着目した手法 GZIP等でも利用 画像特有の性質を積極的に活用した手法ではない 色は24ビットRGB RGB各8ビット=JPEGと同じ http://itpro.nikkeibp.co.jp/article/COLUMN/20061012/250605/?P=7 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 38. 3838 画像の２値化 濃淡画像を白と黒の2階調に変換 利用目的の例 前景（物体）と背景の分離，各種成分抽出（連結成分解析，後述） ノイズ除去 画像の高速処理，画像の圧縮蓄積 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 原画像（濃淡画像） 2値画像（白黒画像） 領域境界が ハッキリする
- 39. 39 2値化の手がかり：ヒストグラム（頻度） 黒 白 画素数 どうもこの辺が 「白線」部分？ 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 キリン(?)の表皮 (濃淡画像)
- 40. 40 2値化の手がかり：ヒストグラム 黒 白 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 どこに 「しきい値」 (threshold) を設定？
- 42. 4242 大津の二値化 最適しきい値を決定 黒 白 分散A 分散B 左部分の平均 右部分の平均 分散C 分散A 分散B 分散C ＋ 評価基準 これを最大化 するように しきい値を 決定九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 43. 4343 Pタイル法 「画像中のp%が前景」→既知なら使える方法 全体的に明るさが変わってもOK! １００％ p ％ 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 44. 4444 連結成分解析 連結成分＝黒(or 白)画素の塊 全体での数や，各成分の面積や形が定量化できるようになる！ 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 Fiji sample image “Blobs” 64個 総黒画素面積 22243 平均面積 347.547 面積 個数
- 45. 45 ４連結と8連結： どこまでを「隣」とみるか？ ４連結での「隣」 8連結での「隣」 4連結か，8連結かで変わる 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 (黒の）連結成分数は何個？ (白の）連結成分数は つながっている!?
- 46. 46 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 膨張・収縮による2値化後のノイズ除去 膨張 膨張 膨張 膨張 膨張 収縮 収縮 収縮 収縮 収縮 収縮 http://imagingsolution.blog107.fc2.com/blog-entry-101.html 小さなギャップを埋められる 小さな孤立点を潰せる
- 48. 48参考(飛ばしてＯＫ) 48 より進んだ二値化：背景推定 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 平滑化による補完 絶対前景と思われる 黒画素領域 （多少余計にとってもOK)
- 49. 49参考(飛ばしてＯＫ) 49 より進んだ二値化：最適化に基づく方法 評価関数： 元の色を維持したい＋ 隣と同じ色にしたい グラフカットによる最適化が一般的 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 [石川SSII-2007]
- 50. 50 画像の領域分割 写っているものを個々に分離する 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 [Krähenbühl NIPS-2011]
- 51. 51 古典的方法1：ヒストグラムを用いた多値化 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 52. 5252 古典的方法2： Region Growing法 1. 初期画素K個を選び、それぞれ(大きさ1の)領域とみなす 2. 各領域1…Kについて、領域に隣接する画素が似た性質を持てば 領域に加える 3. 2.を繰り返す。ただし2領域が接触した場合、統合判定を行う 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4http://astro.temple.edu/~siddu
- 53. 53 古典的方法4： Split-and-Merge法 http://codezine.jp/static/images/article/167/concept.gif 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 http://astro.temple.edu/~siddu
- 55. 55 古典的方法5： Watershed(分水嶺)法 (輝度勾配変化利用型) 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 原画像 輝度勾配画像 （変化の大きいところ→明るい） ３D表示 分水嶺（尾根線） http://en.wikipedia.org/wiki/Watershed_%28image_processing%29
- 56. 56 Watershed，アニメーションで http://cmm.ensmp.fr/~beucher/wtshed.html 注目 入力 処理過程 （アニメ） 結果 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 57. 57 より最近のセグメンテーション法 Mean-shift (座標＋色でクラスタリング) Grabcut (ユーザースケッチ＋グラフカット) Superpixel 条件付きランダム場+最適化 (セマンティックセグメンテーション) [Krähenbühl NIPS-2011] [Mori ICCV-2005] 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 58. 58 ディープニューラルネットワークによる “セマンティック”セグメンテーション [Badrinarayanan+, “SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation”, TPAMI2017]九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 59. 59 画像のフィルタリング 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 61. 6161 最も基本的なフィルタ：平滑化 (1/2) まずは1次元で考えてみる フィルタ マスク 原信号 13 3 33 3 00 1 03 0 1/31/3 1/3 2.3 2.3 1/31/3 1/3 2.3 1/31/3 1/3 1 1/31/3 1/3 3 1/31/3 1/3 2 1/31/3 1/3 1.3 1/31/3 1/3 0.3 1/31/3 1/3 1.3 1/31/3 1/3 1.3 1/31/3 1/3 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 62. 6262 最も基本的なフィルタ：平滑化 (2/2) 画像の場合 1/9 1/9 1/9 1/9 1/9 1/9 1/9 1/9 1/9 平滑化用 フィルタマスク (3x3) 10 10 10 10 20 10 10 10 10 1/9 1/9 1/9 1/9 1/9 1/9 1/9 1/9 1/9 10 10 10 10 11 10 10 10 10 内積 マスク原画像平滑化後 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 63. 63 最も基本的なフィルタ：平滑化 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 64. 64 基本的なフィルタ：エッジ検出 まずは1次元で考えてみる 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 フィルタ マスク 原信号 33 3 33 3 00 0 00 0 -1/2-1/2 1 0 0 0 0 3/2 -3/2 0 0 0 0 0
- 65. 6565 エッジ検出例 横方向と 縦方向で エッジを出して，それらを合成(Sobel) 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 66. 6666 非線形フィルタ：メディアンフィルタ 各局所領域の「中央値」を採る処理 中央値＝濃淡値を大小順に並べ、その中で真ん中の値 内積型ではないフィルタの代表例 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 http://www.mvision.co.jp/WebHelpIM/_RESOURCE/Filter_Mvc_Median.html フィルタサイズ＝３ｘ３ １０ｘ１０
- 67. 6767 非線形フィルタ：バイラテラルフィルタ エッジは保存しながら細かい変化を平滑化 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 [Tomasi+, ICCV1998]
- 68. 68参考(飛ばしてＯＫ) 68 バイラテラルフィルタ，どうやってエッジを保存？ 現在の画素との輝度差が大きい部分の平滑化を抑える！ 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 f:平滑化 g:輝度差による重み f・g http://scien.stanford.edu/ 輝度 重み小 重み大 注目画素
- 69. 69 ディープニューラルネットワークによるフィルタリング： ノイズ除去 [Mao+, “Image Restoration Using Convolutional Auto-encoders with Symmetric Skip Connections”, arXiv2016]九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 70. 70 ディープニューラルネットワークによるフィルタリング： 白黒画像のカラー化 Iizuka＋, “Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification”. TOG2016]九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 71. 71 ディープニューラルネットワークによるフィルタリング： こんなことまでできる！ 昼→夜への変換 [Isola+, “Image-to-Image Translation with Conditional Adversarial Networks," arXiv2016] 地図⇔衛星画像の相互変換 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 72. 72 物体追跡 （トラッキング） 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 73. 73 トラッキングの例 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 データ提供：鈴木利治先生(北大薬学)
- 74. 74 トラッキングの原理 時間 追跡対象 0 Tt-1 t 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 追跡対象と類似した 箇所をつないでいく
- 75. 7575 最も簡単な方法： テンプレートマッチング 何をもって「似ている」とするかがカギ 隠れや極端な変形→見失う 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 テンプレート 時刻t時刻t-1 時刻t-1での位置の周囲で， テンプレートに最も似た領域 →時刻tでの位置
- 76. 76 その他，代表的なトラッキング手法 テンプレートマッチング 最も基本 Mean Shift 一般にカラーヒストグラムで物体を表現 形状変化に頑強 カルマンフィルタ 前時刻までの移動状況から次時刻位 置を予測 パーティクルフィルタ 複数候補を並列的に探索 動的計画法 最適経路問題として解く ネットワークフローによるトラッキング 多物体同時追跡も可能 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 リアルタイム処理型 時々刻々と位置を決定していく オフライン処理型 全フレームを利用して一括決定 (リアルタイム性↓，精度↑)
- 77. 77 動き解析 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 78. 7878 どこが動いたか？ フレーム間差分を用いるのが簡単！ 動きの有無がわかるだけ それでも結構役立つ場合も 時刻t 時刻t+1 動いていない 部分は消える 動いた 部分が残る 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 79. 79 フレーム間差分の例 差分画像 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 時間
- 80. 80参考(飛ばしてＯＫ) Motion History Image 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 数フレーム分の背景差分を画像化したもの ２フレーム間の差分よりは，長い時間変化を捉えられる [Bobick & Davis, IEEE TPAMI, 2001]
- 81. 81参考(飛ばしてＯＫ) 背景差分 (これも簡単で便利です) 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 画像は http://www.ipa.go.jp/jinzai/esp/2006mito1/mdata/10-13.html より引用 現在の画像背景画像
- 82. 82 より本格的な動き解析：オプティカルフロー ２フレーム間における「画素レベル」の動き 時間 トラッキング 時間 オプティカルフロー 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4
- 83. 83 オプティカルフローの例 (ImageJのflowJ利用) 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 時間 ……
- 84. 84 テンプレートマッチングによるオプティカルフロー 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 各画素を中心としたテンプレートのマッチングにより 対応点を決定
- 85. 85 動き推定結果 テンプレートマッチングによるオプティカルフロー 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 時間
- 86. 86 開口問題： 画像情報だけでは完全なオプティカルフローは困難 九州大学 数理・データサイエンス教育研究センター／ 年 月版2018 4 時刻t 時刻t+1 ？ 人間ですら…