Full body 3D Scan System Kit with Raspberry Pi zero w - xRTech_Tokyo #17 -Presenter: Yukihiro Iwayama

1. リアルアバター 制作 岩山 幸洋
Twitter @HappyOcean
Raspberry Pi を用いた
全身3Dスキャン システムキット
Zero W

2. リアルアバター制作用 撮影キット / 全身3Dスキャン・3Dモデル制作
2019年夏時点
＊3Dモデル化は弊社クラウド上か（有償）、又は、別途PC・フォトグラメトリソフトを購入頂くか選択
Raspberry Pi +カメラモジュール 台数は現状90台程度推奨。48台 - 128台程度まで可変。
導入には、部品調達・プログラム設定*・組み立て・調整で 3週間程度 導入事前相談：35,000円 / 90分 予約受付中

3. RealityCapture カメラアラインメント画面

4. RealityCapture リコンストラクション（メッシュ生成）画面

5. RealityCapture テクスチャ生成後画面

6. 生成3Dモデル
https://youtu.be/mOR3EBRyg9whttps://skfb.ly/6MCOV

7. ビジョン
『世界中の誰とでも、いつでも、どこででも会える、まもなく来る未来へ』

8. リアルアバター（その人らしさ/3Dモデル） は
xR (デジタル3次元）空間の重要なアセット
身体性を持ったコミュニケーション

9. システム

10. 2014年10月 5th International Conference on 3D Body Scanning Technologies, Lugano, Switzerland
PI3DSCAN
Raspberry Pi を用いたボディスキャン / フォトグラメトリシステム
以前からある2013年5月 Raspberry Pi カメラモジュール ver1 出荷
http://www.pi3dscan.com
2015年 夏頃？
3D SCAMARA
2015/09/29 2019/08/09
独（ドイツ）社

11. Raspberry Pi Zero W
カメラモジュール
+
一番小さい奴
8 MP 3280 × 2464 pixels

12. 部品たち

13. 0, 103.647
39.664, 95.76
73.29, 73.29
95.76, 39.664
103.647, 0
95.757, -39.664
73.29, -73.29
39.664 , -95.76
0, -103.647
-39.664, -95.76
-95.757, -39.664
-73.29, -73.29
103.647, 0
-95.76, 39.664
-73.29, 73.29
-39.664, 95.76
25.028, 146.997
33.13, 145.385
79.376, 136.23
86.245, 121.64
121.64, 86.245
126.23, 79.376
145.385, 33.13
146.997, 25.028
146.997, -25.028
145.385, -33.13
126.23, -79.376
121.599, -86.093
86.397, -121.68
79.376, -126.23
33.13, -145.385
25.028, -146.997
-25.028, -146.997
-33.13, -145.385
-79.376, -126.23
-86.397, -121.68
-121.599, -86.093
-126.23, -79.376
-145.385, -33.13
-146.997, -25.028
-146.997, 25.028
-145.385, 33.13
-126.23, 79.376
-121.64, 86.245
-86.245, 121.64
-79.376, 136.23
-33.13, 145.385
-25.028, 146.997
スタンド
配置図
足含め 3m x 3m
展示会の一コマを想定
Fusion360の
スケッチ機能で作成 →

14. RealityCapture （フォトグラメトリソフト） カメラアラインメント

15. 各カメラとの位置関係 Blender 画面：3Dモデリングソフト

16. ラズパイ
・
・
・
・
ラズパイ
zero W
・
・
・
・
WiFi
ルーター１
ルーター２
Mac Book
Pro
Mac
Mini
Azure
RealityCapture
Adobe
Lightroom
Classic
明るさ
コントラスト
シャープネス
他
192.168.xx.aa
Sketchfab
Blender - 3Dモデリングソフト
ポリゴン数調整、簡易修正
VRMファイル化 on Unity
VR Chat
システム構成 / フロー
フォトグラメトリソフト
画像前処理
192.168.xx.ab
192.168.xx.yy192.168.xx.xy
192.168.xx.zz
192.168.xx.xz
3Dモデル共有サイト
.obj + .png
OS: Raspbian Stretch ←不要サービス等停止
マニュアル作業
Steam (floating) license
↓
自動化
バッチ処理ファイル記述
CLI or SDK
手作業・メンテナンスありなので、この構成/フローはまだオススメはできません
固定IPアドレス
Node.js, Python, シェルスクリプト.
比較的シンプル
Cluster
クラウド
エクスポート
Windows
ローカル
zero W

17. https://youtu.be/uaPbhM4HFh8
フォトグラメトリ3Dモデル生成用 写真
https://youtu.be/jPkrD5kenHw

18. 特徴点 ← Computer Vision
フォトグラメトリ
カメラ位置推定も , メッシュ化も

19. Unity での撮影画像シミュレーション

20. 面倒な点：フォーカス合わせ
基本的にパンフォーカスで合っているが、入手元・時期によって、
1m程度で合ってる場合や全然ピンボケもあり
ラズパイのカメラモジュール は固定焦点（オートフォーカスは無い）
だが、回すことで調節可能
雑誌 Interface 2016年9月号 参照してください

21. フォーカス/ピント合わせ カメラモジュール ＋ Raspberry Pi Zero W

22. 特徴点抽出 - シャープさ、どこまで追い込めるかの戦い

23. 特徴点抽出 輝度変化 etc。。 照明（光の量）

24. いっこうさん
システム
稼働状況

25. イシヤマさん
ホロラボ
システム
稼働状況

26. 動かしてみた！

27. 課題
消費電流 簡易計測 アイドル時 0.15A程度、カメラで撮影する瞬間に0.35A程度
照明と同一電源タップだったりすると、ライトをつける瞬間の電圧変化等により、
動作が不安定になったりする
■ RPi-Web-Camera-Interface ライブラリ
ラズパイ上でWebサーバーを立て、ブラウザから今どんな画角になってるかみるために使用。
これをstopしてからコマンドで撮影していたが、stopさせただけだと完全に止まっていないこと等？あり、
その状態でカメラ撮影コマンドraspistill すると、sshが切れる/ファイルフォーマットが壊れる、が発生。
イメージバックアップからSDカードに OSイメージの入れ直しが、何度も何度も発生。
最初はAnker のモバイルバッテリーで運用を目指しており、
このバッテリーが電圧不安定の原因か？踏んでいたが、
どうもそうではなかった！
ハマった点
ラズパイzero w ＝＞完全手放し運用まではまだできていない

28. “自分自身・その人らしさ” を
自分も認識し、他者からもIdentify されるもの
未来を作っていく同志として、
ぜひ注目しておいてください
リアルアバター はxR空間の重要なアセット

29. 浅草で7,800円、今ならPayPay払い7,000円（+税）で
全身3Dスキャン撮影・3Dモデル化やってます。
ぜひ来てください。
https://www.real-avatar.com
リアルアバター 制作
多分秋頃まで