CameraXとMLKitの関係や如何に！？

2019-05-15 potatotips #61 @cattaka_net
CameraXとMLKitの関係や如何に！？
Takao Sumitomo
@cattaka_net

自己紹介
●
住友孝郎(Takao Sumitomo)
●
Wantedly, Inc. 所属
●
Androidアプリを主に担当
●
@cattaka_net
（アイコンは気分で変わる）

Google I/O 2019行ってきたよ

Codelabsで
CameraXとFirebase MLKitを
触ったよ

Codelabsって？ https://codelabs.developers.google.com/

楽しかったのでその話

そもそもCameraXの何が嬉しいの？

Camera 2 APIの辛み

カメラを開く
openCamera

カメラを開く
openCamera
出力先の準備
ImageReader
TextureView

カメラを開く
openCamera
出力先の準備
ImageReader
TextureView
セッションを作る
createCaptureSession

カメラを開く
openCamera
出力先の準備
ImageReader
TextureView
キャプチャー開始
startCaptureRequest

カメラを開く
openCamera
出力先の準備
ImageReader
TextureView
startCaptureRequest
全部コールバック！

カメラを開く
openCamera
出力先の準備
ImageReader
TextureView
startCaptureRequest
順序関係あり！
依存
依
存依
存

カメラを開く
openCamera
出力先の準備
ImageReader
TextureView
startCaptureRequest
順序関係あり！
依存
依
存依
存
画面のライフサイクルにも依存
画面のレイアウトが
完了していないといけない

おわかり頂けただろうか？

Camera Xは設定すれば、
後はLifecycleに乗せてくれる
カメラを開く
openCamera
出力先の準備
ImageReader
TextureView
startCaptureRequest
ここだけ設定する

コード例
// プレビューの設定をする
val previewConfig = PreviewConfig.Builder().apply {
setTargetResolution(Size(640, 640))
}.build()
val preview = Preview(previewConfig)
// 準備ができたときに、Viewへ出力するように指示
preview.setOnPreviewOutputUpdateListener {
// To update the SurfaceTexture, we have to remove it and re-add it
val parent = viewFinder.parent as ViewGroup
parent.removeView(viewFinder)
parent.addView(viewFinder, 0)
viewFinder.surfaceTexture = it.surfaceTexture
updateTransform()
}
// ライフサイクルにバインド
CameraX.bindToLifecycle(this, preview)

便利！
✌('ω' )✌ 三✌('ω')✌三( 'ω')✌ ✌

Firebase MLKitの何が嬉しいの？

機械学習をアプリに
組み込むのは面倒くさい
●
モデルやデータのフォーマット
●
エンジンの設定
●
Inputの定義
●
Outputの定義

Firebase MLKitは
インターフェースがシンプル
●
ユースケースに合わせて予め定義されたAPI
●
Firebase ML Vision
●
顔認識： Face Model
●
オブジェクト認識： Object Detection Model
●
イメージラベル： Image Label Model
●
カスタム： AutoML

良しなにやってくれる
●
例：テキストの認識
// 画像を準備
val image = FirebaseVisionImage.fromMediaImage(src, rotation)
// 認識機の準備
val recognizer = FirebaseVision.getInstance()
.onDeviceTextRecognizer
// 認識の開始
recognizer.processImage(image)
.addOnSuccessListener { texts -> continuation.resume(texts) }
.addOnFailureListener { e -> continuation.resumeWithException(e) }

Codelabsはそれぞれ
30分〜1時間でこなせる量
https://codelabs.developers.google.com/

くっつけてみた

Object Detection Model
https://drive.google.com/file/d/1LXBsgIRMeNSpB3zV1MmAcGGPjqlakTo2/view?usp=sharing

Image Label Model
https://drive.google.com/file/d/1DUszdyxs5T5RLEH3QiXOnO8u7BLuHyRn/view?usp=sharing

CameraX と Firebase MLKit
の組み合わせ、楽しい

コードはこちら
https://github.com/cattaka/CameraXMLKit

ご清聴ありがとうございました
Takao Sumitomo
@cattaka_net

CameraXとMLKitの関係や如何に！？

Recommended

Recommended

More Related Content

More from Takao Sumitomo

More from Takao Sumitomo (20)

CameraXとMLKitの関係や如何に！？