GoogleIO2019ARCoreのupdate

1. Google I/O 2019 updates
ARCore関連の総まとめ

2. 自己紹介
あいかちゃん：
山崎 愛香（本日、誕生日🎂）
所属：
株式会社ハニカムラボ
やっていること：
アシスタントディレクター
コミュニティ：
xR女子部メインオーガナイザー兼GeekWomenJapanコアスタッフ

3. xR女子部ってコミュニティやってます

4. From Keynote
GoogleI/O 2019 公式アプリに AR 機能搭載されてるよ！
--AI for Everyone--
Google Search:
検索結果に3Dモデルを表示＆AR表示されるようになるよ
Google Lens:
翻訳精度の向上や動画が表示されるようになるよ
Google Maps:
AR機能の順次開放へ、まずはPixelユーザーから

5. Google Search updates
- Google検索で検索した動物や人体などの画像を3D化し、さらにAR
として表示する新機能
- モデルが3D表示になり、さらにタップすると実物大のAR表示にな
る。ARにすることによって実際のサイズ（白ザメは約5.5メート
ル）を実感
- Googleはこの機能のためにNASA、New Balance、Samsung、
Target、Visible Body、Volvo、Wayfairなどと提携した。
これらの企業が扱う画像データで3D→ARが可能になる。
- 5月中にロールアウト見込み。

6. Google Lens updates
- 2017年のGoogle I/Oで登場した画像内情報検索AI「Google
Lens」が超進化
- レストランのメニューをスマホのカメラで写しながらGoogle Lens
を起動すると、その店で人気のメニューがハイライトされる。ハイ
ライトされたメニューをタップすると、そのメニューについて
GoogleMapsのレビューから引用される

7. Google Map updates
- ARナビゲーションについて
余談：GoogleI/O 2018でいたキツネさんはどこへ？
https://japanese.engadget.com/2019/05/10/google-ar-pixel/
現在は一部ユーザー＆Pixel3ユーザーから配布されているらしい
ちなみに東京では使えたけど、奄美大島では使えなかった（なぜ？）

8. その他セッションタイトル
https://www.youtube.com/playlist?list=PLOU2XLYxmsIIwNIJygAKuo9-Nx6BOj4Jb

9. ARCoreって？
- ARCoreはARのフレームワーク
- 特別なセンサ類を必要とせず、通常のカメラとモーションセンサを
内蔵する多数のAndroidスマートフォンで動くことが特徴。
2019年2月時点で100機種以上の対応を発表・100万台くらい！
https://developers.google.com/ar/discover/supported-devices

10. ARCoreについて
2019年5月 ARCore SDK for Android v1.9.0（Google I/O 2019）
2019年3月 ARCore SDK for Android v1.8.0
2019年2月 ARCore SDK for Android v1.7.0
2018年12月 ARCore SDK for Android v1.6.0
2018年11月 ARCore SDK for Android v1.5.0
2018年9月 ARCore SDK for Android v1.4.0
2018年6月 ARCore SDK for Android v1.3.0
2018年5月 ARCore SDK for Android v1.2.0（Google I/O 2018）
2018年4月 ARCore SDK for Android v1.1.0
2017年12月 ARCoreプレビュー2発表/ProjectTango終了のおしらせ
2017年8月 ARCore初期プレビューとして登場

11. ARCoreの発表
1.Augmented Faces
2.Augmented Images
3.Environmental HDR Lightning
4.Scene Viewer

12. Augmenting Faces and Images

13. 1.Augmented Faces
- ARCore1.7からの機能「AugumentedFaceAPI」
- DepthカメラなしにFaceTrackingができる
- 特徴点は468点ある、ARKitと同じ数！
- ビューティーやアクセサリーの試着したり、友達と面白い写真を共
有したりできるようになるよ
- みんなだいすきbeauty plusもARCoreでAndroidにくるよ！
- iOSもラップされるので、デプスセンサーのないiOS端末でも動かせ
るようになるよ！
- TensorFlowを使って機械学習しているよ
- いろんな大きさの顔の形や、肌の色で学習したよ

14. 2.Augmented Images
ARCore1.7からの機能の精度が大幅に向上したよ
- 追従の精度は30％向上
- 画像の検出リコールする精度は15％向上
- 動いている画像のTrackingができるようになったよ
- 複数画像でのTrackingができるようになったよ
どうやって実現しているか
- Recognized Images(画像の認識)
- Provide 6Dof Pose (6Dofの動作認識)
- Anchor Content（画像追従）

15. Increasing AR Realism with Lighting

16. 3.Environmental HDR Lightning
- この夏からARCoreに追加される機能
- より現実世界と馴染むような色とライティング処理
Environmental HDR APIs
1）Main Directional Light(メインの平行ライト)
太陽光のような無限遠の平行ライト。光源の位置を推定し、スペ
キュラや影の描画に影響
2）Ambient Spherical Harmonics(アンビエントラ
イト)
影などに環境全体の色を反映した平均的な影響を与える
3）HDRCubemap(HDRのキューブマップ)
より詳細なスペキュラ、反射や屈折などに影響
スペキュラ…物体表面にライトの光が当たったときに、鏡のように 1方向
に鋭く反射する光。金属、クリアな塗装面など、物体表面で鏡面反射し
ている部分は明るいハイライトとして見える。
Photo by shoko@_okohs

17. 3.Environmental HDR Lightning
HDRI(ハイダイナミックレンジイメージング)のす
ごさ
- HDRI(ハイダイナミックレンジイメージング)によるライティン
グは、Physical Based Renderingの考えをもとにしてい
て、フォトリアルに多大な影響をもたらす
- ただし、一般的なスマホの画像のダイナミックレンジはダイナ
ミックレンジが狭い
- 一度に写せる画角も360度環境マップと比べると非常に狭い

18. 3.Environmental HDR Lightning

19. 3.Environmental HDR Lightning
どうやってこの狭い画角とダイナミックレンジで最適化した環境マップを
作るのか？
⇒5000万のテストを行ってTensorFlowで学習した
3つの球体を使っている、論文よんでね

20. 3.Environmental HDR Lightning
ARは明暗の激しいところを移動する、その明るさの変化も反映する
さらに、ARCoreはカメラのISOなど、露出に関わる状態を取得し、3Dモ
デルの明るさも自動的に反映させる
Relative Intensity/Linear Lighting Process
（デベロッパーが簡単に、動的な合成の精度を高められるのがポイン
ト）

21. 4.Scene Viewer
https://googlewebcomponents.github.io/model-viewer/examples/augmented-reality.html
Githubにサンプルあり。
⇒iOSでも動作したよ！

22. 4.Scene Viewer
<model-viewer>と、ar属性を持つコンポーネントを含むWebサイト
は、 ARボタンが表示される
フォーマットのサポート：glTF2.0 / glb、これらの拡張子を使う
アニメーション
● ループアニメーション
● 硬いアニメーションをループさせる
● ループ変換アニメーション
推奨制限
● 頂点数：30,000
● 材料の数：10
● 最大テクスチャ解像度：2048×2048
● 骨（非加重関節を含む）：254（硬い限界）
● 頂点ごとのボーンウェイト制限：4（ハード制限）
● UV：メッシュあたり1 UV（ハードリミット）
● モデルサイズ：10 MB（大きいモデルは悪いユーザエクスペリエンスを
もたらす可能性があります）

23. CodeLabでやってみました
https://codelabs.developers.google.com/codelabs/model-viewer/index.html
やり方
1）Node.jsかGlitch（Node.jsをつかえるサービス）をつかう
2）<model-viewer>ライブラリを追加
3）各ブラウザでも見れるようにオプションを追加
4）モデルをリソースにアップロード
5） <model-viewer>タグでモデルのパスを指定
6) ARや回転、影などを追加
7）iOS対応の場合はiOS用のUSDZファイルをアップロード
ARCore対応Android端末のみ
・Chromeのみ
https://reiwa-ar.glitch.me

24. まとめ
Maps、Lens、SearchとGoogleのサービスにどんどん ARが取り入れられる発表でした
ARCoreは今後もどんどんアップデートされる予感！
業界的にもMicrosoftのHoloLens2・マインクラフトAR、
そしてFacebookAR＆インスタのフィルター、 Snapchatのフィルターなども Update中
今年はAR元年かも！？
←snapchatでイケメンになったわたし
ご清聴ありがとうございました😁