Recommended
More Related Content
Similar to RICOH Rでお手軽 物体トラッキング
Similar to RICOH Rでお手軽 物体トラッキング (20)
RICOH Rでお手軽 物体トラッキング
- 1. WebRTC Meetup #16 RICOH Rで お手軽 物体トラッキング
- 2. 自己紹介 ばば あつし 仕事 インフォコム西日本 社内でWebRTC配信等 PG作成や調査 プライベート 趣味は旅行・音楽鑑賞・ガジェット等 今治地方観光協会 クリエイティブ・コモンズ・ライセンス（表示4.0 国際） https://creativecommons.org/licenses/by/4.0/
- 6. ★ 機械学習 • Yolo v2 • FAST R-CNN • SSD • OpenPose • 他色々 WebRTCで使うなら、tnohoさんのpyrtcconductorがGood!! https://www.slideshare.net/tnoho/webrtc-76814721 学習済モデルを使うので、トラッキングの対象がデータ にない場合は自分で学習させたモデルが必要
- 7. ★ 画像処理ライブラリ • OpenCV • Dlib 色相追跡・LBP/HAAR-like/HOG Cascade識別器・フィルターを使う方法等 様々なアルゴリズムを使用出来る。 （Cascade識別器→Face/Hand/Head用などがある 複数の画像があれば独自で作成も可能）
- 8. ★ Javascript • ccvjs • clmtrackr • trackingjs • headtrackr • js-objectdetect JSでも色相追跡・HAAR-like Cascade識別器が使える。 お手軽ということで、今回はこれを採用。 検出の精度は 機械学習 ＞ 画像処理ライブラリ ＞ JS
- 9. とあるサンプルを見つける ❖ VOTT（Visual Object Tagging Tool) ❖ 動画から対象物をCam-Shiftで追跡し複数の学習データを作ることができる 。ツールと連携してCNTKやYolo Format Object Detection Modelを作成する Electronアプリ ❖ https://github.com/CatalystCode/VoTT
- 11. camshift.Trackerの基本的な使い方 トラッキングできたポジションの中心位置と幅・高さが取得できる ※傾きの取得も可能 currentPos.x currentPos.y currentPos.width currentPos.height var cstracker = new headtrackr.camshift.Tracker( { calcAngles: false } ); cstracker.initTracker(canvasElement, new headtrackr.camshift.Rectangle(x, y, w, h)); cstracker.track(canvasElement); var currentPos = cstracker.getTrackObj();
- 13. RICOH-Rのスペック USB映 像出力 UVC H.264 30fps Full HDモード 1920 x 1080 Equirectangular Projection Format 特徴 Equirectangular形式にリアルタイムスティッチング Theta-Sとくらべて低遅延 ヒートシンク付ボディで２４時間連続稼動可能に （Theta-Sでは25分）
- 14. デモ
- 15. CamShift ❖ 特定の物体の特徴を検出・認識するものではありませ ん。 ❖ 選択された部分の輝度（色）を元にターゲットの領域 を決定し追跡します。 ❖ ターゲットの大きさ/傾きの変化にも対応している。
- 16. 実際に使ってみた感想 ❖ トラッキングのスピードは意外と早い ❖ 対象物が黒いや色が均一ものは苦手（ターゲットとし て設定不可） ❖ 動きが速すぎる・形の変化が激しい場合はターゲット が変化してしまって追跡できない。
- 17. 余談 ❖ headtrackr本家のブログにサンプルもありました ❖ https://www.auduno.com/headtrackr/examples/camshift.html ❖ ご参考まで
- 18. End