OpenCV単体で3DオブジェクトのARをしたく挑戦しました。 OpenCVとOpenGLで実現できるようですが、OpenGLがよくわからなかったのでMatplotlibを使用しました。 デモ①　初期バージョン https://youtu.be/vzQA8_DQ8tw デモ②　改良バージョン https://youtu.be/QnYwcrHeKbI コードはgithubで公開しています。 https://github.com/zgw426/AugmentedReality_with_OpenCV_Matplotlib

2. ・趣味でARしてます
・ARで壁に穴をあける『ウソ穴』開発者
@zsipparu

3. @zsipparu
・OpenCV単体で画像(2D)のARはできた
→ 3D やりたい

4. ・OpenCVのみでは画像(2D)のARはできるが、3DオブジェクトのARはできないらしい
・OpenCVとOpneGLを組み合わせると3DオブジェクトのARができるらしい
・OpenGL API はC言語関数で提供されているらしい
→C言語はくわしくないので断念、、
・PyOpenGLというPythonでOpenGLを使う仕組みがあるらしい
→挑戦したが断念、、、
※OpenCV + PyOpenGLでARに成功している人はいる（←コード理解できず）
・ARとは、つまるところ画像処理なのでは？
・画像処理系で簡単につかえそうなもの… → Matplotlib
・Matplotlibはグラフ描画が得意なPythonモジュール。3Dグラフも描画できる
・OpenGLの代わりにMatplotlibで3DオブジェクトのARができるかも！？
■ 検討① OpenGLに挑戦→挫折
■ 検討② OpenGL以外でARを模索→Matplotlib使えるかも？
@zsipparu

5. @zsipparu
・グラフ描画ライブラリ
・2D, 3D グラフの描画が可能
・3Dグラフは視点変更が可能
ARに使えそう
視点①
視点③
視点②
3Dグラフ
Matplotlib

6. ■ OpenCV + Matplotlib でARの仕組みを考える
・Matplotlibの3Dグラフは、視点を変更し描画できる
・では、ARマーカーに合わせて3Dグラフの視点を変更し描画すればARっぽくできるはず
X
Y
Z
ロール
ヨー
ピッチ
①ARマーカー検出 ②ARマーカーの傾き算出 ③算出した傾きで視点変更
OpenCV Matplotlib
視点
3Dグラフ
@zsipparu
処理フロー

7. https://youtu.be/vzQA8_DQ8tw
@zsipparu

8. ■ よりARっぽくするためにデモ①の課題と対策を考える
・課題：白い背景色のため2Dっぽく見える(3Dっぽく見えない)
→対策：透過処理を追加する
・課題：X,Y,Z軸の情報が不要
→軸の情報を非表示にする
@zsipparu

9. https://youtu.be/QnYwcrHeKbI
@zsipparu
デモ①の課題対策版

10. ①ARマーカー
検出
X
Y
Z
ロール
ヨー
ピッチ
②ARマーカー
の傾き算出
③算出傾きで視点変更
視点
3Dグラフ
④グラフ描画→画像生成
（軸-非表示）
⑤背景を透過する
OpenCV Matplotlib OpenCV
インプット
(カメラ映像)
アウトプット
(AR映像)
OpenCV
⑥画像合成
※追加した処理
④軸の非表示処理
⑤背景の透過
@zsipparu

11. ・より立体感のあるARを目指し仕組みを検討中
・Matplotlib以外の画像処理系のPythonモジュールでもARできそう
AugmentedReality_with_OpenCV_Matplotlib
https://github.com/zgw426/AugmentedReality_with_OpenCV_Matplotlib
@zsipparu