2019/02/17（日） 「GCPUG徳島」で発表した「機械学習」セッションのスライドです。

1. Copyright(C) 2019 GCPUG All Rights Reserved
2019.02.17（Sun）
“ 30分でわかる ”
GCPを使った
機械学習システムの構築
GCPUG Tokushima #4
#gcpug #gcpja

2. Copyright(C) 2019 GCPUG All Rights Reserved 2
氏名：Yuya Ohara
VØLT（@VØLT3103）
会社：株式会社ビヨンド
職種：プリセールスエンジニア
● 経歴
① 光回線・OA機器などの営業
② ホスティングサービスのプリセールス
③ MSP・クラウドインテグレーター
● GCP / AWS / Alibaba など 色んなクラウド構築・運用
● GCPUG Osaka のコミュニティ運営・オーガナイザー
https://gcpug-osaka.connpass.com
自己紹介

3. Copyright(C) 2019 GCPUG All Rights Reserved 3
徳島にもオフィスできます！
● 2019/03/01（Fri）四国（徳島）オフィス開設！
〒 778-0002
徳島県三好市池田町マチ2475（旧政海旅館内）

4. Copyright(C) 2019 GCPUG All Rights Reserved 4
関西エリア の GCPUG
● Osaka
2015年5月開設
● Kobe
2018年5月開設
● Shiga
2018年6月開設
● Nara
2018年7月開設
● Wakayama
2018年8月開設
● Kyoto
2018年4月開設

5. Copyright(C) 2019 GCPUG All Rights Reserved 5
オーガナイザー・メンバー募集中！
● GCPUG Kyoto
https://gcpug-kyoto.connpass.com
● GCPUG Wakayama
https://gcpug-wakayama.connpass.com

6. Copyright(C) 2019 GCPUG All Rights Reserved 6
GCPUG の新支部（スピンオフ支部）
● GCPUG for Business
https://gcpug-business.connpass.com
● コンセプト
“ GCPUG for Business ”は、
いつもの『GCPUG』から派生した
ディレクター・マーケティング・情シス などの
ポジションの方々を対象とした、
『ビジネスパーソン向けの GCPUG』です。
「GCP や GCPUG（ジーシーパグ） に興味はあるけど、
エンジニアじゃ無いので少し敷居が高い・・・」
というような方々にも参加していただけるような、
ライト で フラット なコミュニティを目指します！

7. Copyright(C) 2019 GCPUG All Rights Reserved 7
本日のセッション
GCPを使った
機械学習システム
構築の一式を説明する

8. Copyright(C) 2019 GCPUG All Rights Reserved 8
機械学習で出来ること
● 画像解析
・画像（静止画）の解析
・画像のラベル付け
・不適切な画像の検出
・製品ロゴの検出
・地名検出
・OCR（テキスト抽出）
・顔検知
・Web上の類似画像検索
● 動画解析
・動画のラベル付け
・シーン変化検知
・撮影場所検知
● テキスト解析
・文章解析
・テキストの感情分析
・テキストの文法構造解析
・単語のカテゴリー解析
・メール分別
・数値計算
・メール自動返信文作成
● 音声解析
・音声のテキスト化
・音声の自動応答
● 翻訳解析
・テキストの言語翻訳

9. Copyright(C) 2019 GCPUG All Rights Reserved 9
機械学習の全体像
情報ソース データ蓄積 データ分析
ビッグ
データ
社内外情報
/ IoT
人 / AI
外部の端末情報を
収集し蓄積
外部の端末情報を
収集し蓄積
ビッグデータ情報
の精度を上げる
ビッグデータ情報の
精度を上げる

10. Copyright(C) 2019 GCPUG All Rights Reserved 10
機械学習の全体像
情報ソース
データ蓄積 データ分析SNS
（Facebook / Twitterなど）
ニュース記事
Webサイト・ブログ
コールセンター
顧客マスター
取引履歴 など
社内データ
クローラーによる
自動収集
データの
クレンジング（精査）
定型/否定形
データのDB化
分析エンジン
一定件数の抽出
キーワード分析
リアルタイム検知
社外データ
問題の発見
商品 / サービスの強化
新商品 / 新サービス開発のヒント
マーケティング活用
サポート内容の充実
分析結果の活用
工場のセンシングデバイス
監視カメラ
位置情報 など
IoTデータ

11. Copyright(C) 2019 GCPUG All Rights Reserved 11
機械学習の全体像
● 機械学習を使ったシステムは
単に学習・推論をおこなうモデルだけがあれば
いいというわけではない。
● データを取得したり、
そのデータ・モデルの管理をおこなう構成が必要。
バージョン
管理
データ
取得
データ
蓄積
データ
学習
モデル 推論 評価
データ
分析
特徴
抽出
ロギング

12. Copyright(C) 2019 GCPUG All Rights Reserved 12
● パスを1個にまとめておくと構成がシンプルになる
● 不具合時には双方を同時に修正ができる
● モデルとの不整合が起きにくい
機械学習の全体像
データ
収集
データ
蓄積
データ
整形
学習
データ
整理
モデル
推論
データ
整理
学習済
モデル

13. Copyright(C) 2019 GCPUG All Rights Reserved 13
● 期待したとおりの予測（PoC 概念実証）ができるか
● 機械学習でユーザーに
良質な価値（精度の高いデータ）を提供できるか
● データ取得して蓄積、解析・特徴を抽出する構成の設計
● モデルのデプロイ・バージョンを管理する構成
● モデルへ入力するデータの形式は
「学習時」「推論時」と同一にしておく
● サーバーレスと相性が良い
機械学習の構築・設計のポイント

14. Copyright(C) 2019 GCPUG All Rights Reserved 14
そこでGCPの出番！

15. Copyright(C) 2019 GCPUG All Rights Reserved 15
GCPで機械学習するとき
データフローの
要素
GCPプロダクト プロダクトの用途
データ収集 Cloud IoT Core
Cloud Pub/Sub
Cloud Function
App Engine
センシング
メッセージング
コンピューティング
コンピューティング
データ蓄積 BigQuery
Cloud Datastore
DWH（データ解析）
NoSQL DB
データ整形・整理 Cloud Dataflow データ処理
データ学習・推論 ML Engine 機械学習

16. Copyright(C) 2019 GCPUG All Rights Reserved 16
機械学習の構成
データ
収集
データ
蓄積
データ
整理
モデル
Cloud
Function
Big
Query
Cloud
Dataflow
ML
Cloud Engine
Cloud
Storage
デバイス
など
マイクロ
サービス
構築
クエリ
実行
データ
処理
学習・推論
実行環境

17. Copyright(C) 2019 GCPUG All Rights Reserved 17
・一機能の実現に適した（FaaS）
・マイクロサービスの構築
・APIを利用する時のユーザー認証
・httpで応答するバックエンドサービス
・IoT デバイスからのデータ取り込み
・Cloud Storageへの
ファイルアップロードをトリガーとした
ファイル処理
・ファイルアップロード時の
フォーマット変換
Cloud Faction の主な特徴・用途
Cloud
Function

18. Copyright(C) 2019 GCPUG All Rights Reserved 18
● データが バッチ（定期）or リアルタイム（不定期） に
クラウドへ送信されるかどうか
◇ IoTデバイスから取得する場合
・工場オートメーションでのセンシングデバイス
・コンシューマのスマートデバイス
・データ取得がバッチ（定期）での処理
◇ アプリケーションから取得する場合
・Webサービスなどの送信元多数からのデータ取得
・送信タイミングが不定期、データサイズが様々
・リアルタイム（不定期）での処理
データ収集・蓄積
Cloud
Function
向き
GAE
向き

19. Copyright(C) 2019 GCPUG All Rights Reserved 19
・ビッグデータ解析用のDWH
・ペタバイト級のデータを数分で
フルスキャン
・機械学習用の学習、推論データの
取得、保存、解析、フィードバック
・アクセス権限、データ階層の概念
BigQuery の主な特徴・用途
BigQuery
BigQueryのデータ階層とアクセス権限イメージ
データセット B
プロジェクト A
テーブル C
テーブルセット D
ユーザーX
ユーザーY
プロジェクトAの権限が
全データセットへ継承
データセットDのみの権限
テーブル E

20. Copyright(C) 2019 GCPUG All Rights Reserved 20
データの整理・処理
SQL（BigQuery）での欠損値を埋めるイメージ
● データの整理とは前処理
・データ欠損を埋める
・データを整形する
● SQL（BigQuery）による前処理
・学習に使えるデータのみを抽出
・インデックスを必要としない高速クエリ
A B C A B C

21. Copyright(C) 2019 GCPUG All Rights Reserved 21
・パイプライン処理、分岐
・ETL（データ抽出を変換する工程）
・複数のデータソースから
データをマージ
・データフォーマットを変えて
複数の出力先に出力
・イレギュラーな値が来た時に、
別の専用の処理へ分岐させたり
Cloud Dataflow の主な特徴・用途
Cloud
Dataflow
分岐を持ったパイプラインのイメージ
データ
抽出
処理 A
処理 B
データ
マージ データ
出力

22. Copyright(C) 2019 GCPUG All Rights Reserved 22
・TensorFlow モデル学習、推論を
マネージドな環境で実行できるサービス
・TensorFlow で記述した
独自モデルの学習
・学習済みモデルのAPIサービス化
※ TensorFlow は Google謹製
ML Cloud Engine の主な特徴・用途
ML
Cloud
Engine

23. Copyright(C) 2019 GCPUG All Rights Reserved 23
● 前処理の作業をするときは、
BIツールの Dataprep がオススメ
・もちろん GUI
・コーディング不要
・欠損値、重複データを自動検知
※ データ前処理のツール ※
Data
Prep
https://cloud.google.com/dataprep/?hl=ja

24. Copyright(C) 2019 GCPUG All Rights Reserved 24
● 機械学習は様々なサービスの集合体
● サーバーレス環境だけで機械学習の環境を構築できる
● ほとんどマネージドで構築可能
● GCPならプロダクトの組み合わせは自在
● GCPの機械学習は精度は高いと感じられる
まとめ