Google Cloud Platforn - BigQuery簡介

1. Big
uery
Simon @ MiCloud

2. 資料 - The new Oil
翟本喬：
● 存得起來的，叫做
Storage (儲存)
● 看得到的，叫做Data (資
料)
● 看得懂的，叫做
Information (資訊)
● 用得出來的，才能夠叫做
Intelligent (智慧)

3. 資訊觀念已經改變

4. AP002
AP...
APxyz
RPT01
Data Warehouse
COST!!!
OLAP / Mining / Customize...
AP001
Backup / House Keeping / Integrate...
傳統的大量資料做法 - Data Mining
RPT02
RPT...
RPTn

5. 現在的大量資料做法 - Hadoop
COST!!!
COST!!!
Latency!!!

6. 其實技術淵源自Google

7. BigQuery做到了什麼
●
●
●
●
●
●
●
TB等級資料分析
最快速的資料探勘方式
SQL-like查詢語法
跨多個資料集合交互查詢
便宜、依使用量付費
及時回應、批次查詢
各式開發工具支援、Google
Apps 整合

8. Google安全性與隱私權申明
● 安全與隱私權總覽：https://support.google.
com/a/answer/60762
● 政策與原則 - 隱私權政策：http://www.google.
com/policies/privacy/
● SSAE 16 & ISAE 3402 Type II稽核

9. BigQuery的資料匯流
●
●
●
BigQuery ●
JSON, CSV格式輸入
資料串流輸入
CloudStorage服務儲存體串聯
AppEngine記錄日誌串聯

10. 開發與支援工具
●
●
●
●
●
●
●
網頁管理介面
指令列工具- bq指令
Apps Script支援
REST API
SDK (client libraries)
第三方工具
第三方服務提供商

11. BigQuery架構延伸
Strategy Support
Applications
Apps
Script
AppEngine
Datastore
Cloud
Storage
AppEngine
Log
BigQuery
Warehouse

12. Case Study - Boo-box
需求 :
● 實現一個強大的數據分析工具，迅速洞察廣告分佈。
● 更有效地定位廣告來服務顧客。
● 避免增加機械和專職工作人員
使用:
● 選擇BigQuery中google龐大的數據處理基礎設施的優勢
● 使用簡單類似SQL的語言分析大數據集
● 每月從分析上市350,000的blog和網站廣告的效果來改善目標
改善:
● 在五秒鐘內分析數十億行數據
● 每年避免了需要購買額外的設備或工作人員
● 改進決策、客戶服務和廣告支出詳細的報告

13. Case Study - SongPop
需求:
● 6人團隊，僅一人全職後端。
● 每天需要處理和分配17TB的音樂和圖片。
使用:
●
●
●
Google App Engine：節省設備採購及人力需求
Google Cloud Storage：儲存遊戲、音樂及影片檔案
Google BigQuery：分析及歸納遊戲使用資訊
改善:
●
●
●
僅需一位全職後端即可支援超過
6千萬用戶
僅需專注軟體安全，其他網路及作業系統安全由
Google負責
採用GAE後節省系統及資安硬體採購之維護成本

14. END
http://cloud.google.com