ビックデータは流行の言葉となっていますが、Google にとってはビジネスの礎なのです。このセッションでは、 これまで Google 内部で利用するために開発してきたサービスをどう公開してきたか、厄介なインフラストラクチャの心配をせずにデータを取り込み、蓄積、素早く分析できるかを説明します。

1. Google Cloud Platform で
ビッグデータ
インフラストラクチャーではなく、
インサイトに焦点を当てる

2. 管理
モバイル
開発者ツールコンピュート
ネットワーク
ビッグデータ
サービス
ストレージ

3. Source: IDC, 2014
生み出されるデータが
10倍に増加
（2013年には4.4ZBだったが、
2020年には44ZB に）
320億のIoTデバイス
（2020年までにインターネッ
トに接続される）
データの40％が2020年
までにクラウドに
ビッグデータ: 見逃せないオポチュニティ

4. さらに多くのデータや新たなデータソースに
常に対処
あらゆるビジネス機能のあらゆるデータを
キャプチャ・保存
一貫して使いやすいビッグデータ システムの
構築・維持の複雑さ
データ収集から行動までの時間を削減
既存のデータにおける価値を容易に見出す
1
2
3
4
ビッグデータでイノベーションや
イテレーションを実行するためのハードル
5
システムの信頼性を維持し、
持続的に稼働させる
データを安全に保つ
組織内、組織間のコラボレーション7
8
9
6
今までのビッグデータ＝頭の痛い課題

5. 2002 2004 2006 2008 2010 2012
Dremel ColossusMapReduce
GFS BigTable Spanner
2014
Dataflow
ビッグデータの問題に取り組んだ十数年
BigQuery

6. プログラミング
リソース
プロビジョニング
性能
チューニング
モニタリング
信頼性デプロイメント＆構成
規模の高まりに
対処
利用の向上
典型的なビッグデータ処理
インフラストラクチャーではな
く、インサイトに焦点を当てる
プログラミング
Googleを使ったビッグデータ処理
インサイトを得るまでの時間を短縮

7. Google confidential │ Do not distribute
概要:
処理するデータ : Consolidated Audit Trail (CAT)のデータ.
全普通株、オプション注文、見積もり、イベントのデータレポジト
リ
課題:
どうCATを処理し、1000億の市場イベントを 4時間以内に“オー
ダー ライフサイクル”へと整理するか
6年分（～30PB)のデータを保存
Cloud Bigtable でクエリを処理・実行し、データ量の増加に対応
60億の
市場イベントを
1時間ごとに書き込み
1.7 GB
毎秒
毎時
6 TB
100億
書き込み
毎時 バースト
1.7 ギガバイト
毎秒
10 テラバイト
毎時

8. Google confidential │ Do not distribute
Overview:
Data to process: standard game KPIs, marketing data, custom game insight
Several dozen gigabytes of raw logs per day
Challenges:
Struggled to process large volume of data
Long delays between triggering logs and querying data; problematic for games
running live events
Issues controlling permissions
Long-running queries, clunky analysis
概要:
処理するデータ: 標準的なゲームKPI、マーケティングデータ、
カスタムゲームのインサイト
1日に数十ギガバイトの生ログ
課題:
大量のデータの処理に苦労していた
ログのトリガーからデータのクエリまでに長い遅延が生じ、ライブイベントを行って
いるゲームにとって厄介な問題となっていた
パーミッション制御に関する問題
実行時間のかかるクエリ、ぎこちない解析
“BigQuery のおかげで、実際にデータを使うことに集中できるようになり、
データの入手に体力を消耗することがなくなりました”
処理
150ギガのデータを
15秒で
即時の
ログのインジェスチョン
スケール
システムの動作を
妨げない
パーミッション
制御に対する
柔軟性

9. ビッグデータの全ライフサイクルを管理
保存 解析処理キャプチャ

10. ビッグデータの全ライフサイクルを管理
Cloud Logs
Google App
Engine
Google Analytics
Premium
Cloud Pub/Sub
キャプチャ 保存 解析
バッチ
Cloud
DataStore
処理
ストリー
ム
Cloud
Monitoring
Cloud
Bigtable
リアルタイムアナリティクス
および
アラート
Cloud Dataflow

11. デモ
ビッグデータを実際に体験！

12. Manage the Entire Lifecycle of Big Data
Cloud Logs
Google App
Engine
Google Analytics
Premium
Cloud Pub/Sub
BigQuery
(テーブル)
Cloud Bigtable
(NoSQL)
Cloud Storage
(ファイル)
Cloud Dataflow
BigQuery Analytics
(SQL)
キャプチャ 保存 解析
バッチ
Cloud
DataStore
処理
ストリー
ム
Cloud
Monitoring
Cloud
Bigtable
リアルタイムアナリティクスおよびア
ラート
Cloud Dataflow

13. ビッグデータ の パートナーエコシステム
Chartio

14. 結論
1. 他のビッグデータ クラウドサービスと異なり、Googleは業界唯一の
フルマネージド（運用レス）のビッグデータ プラットフォームを提供
2. インフラストラクチャーは私たちに任せて、それぞれの事業に集中: 誰でも小規
模でスタートし、安心して規模を拡大していきたいと考えていること理解した上
で、Googleはビッグデータ サービスを設計
3. クラウドでビッグデータ: DIY よりも低TCO

15. cloud.google.com