Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à Google bigquery導入記
Similaire à Google bigquery導入記 (20)
Google bigquery導入記
- 3. 関わったもの
- 5. ログ
- 8. どこに保存してますか？
- 10. データが大きくなると… 検索をしたいが遅い 集計をしたいが終わらない/落ちる 保存先の特性(Elasticsearch/DWH等)にくわしくないと 死ぬ 保存先の容量が足りなくなる。移動も大変
- 11. そこで
- 14. ログを集める
- 16. App Log Job ＆
- 19. time tag message int string string [ { "name": "tag", "type": "string" }, { "name": "time", "type": "integer" }, { "name": "message", "type": "string" } ] JSON
- 21. use_ite 1434249466 {“count”:”1","uid":"userxxxx","success":"True","event_id":"No ne","item_id":"12","item_type":"ITEM","user_level":"None","d evice":"SP_iPhone","id":"xxxxxx"} use_item 1434249604 {“count”:”1","uid":"userxxxx","success":"True","event_id":"No ne","item_id":"12","item_type":"ITEM","user_level":"None","d evice":"SP_iPhone","id":"yyyyy"} use_item 1434249951 {“count”:”1","uid":"userxxxx","success":"True","event_id":"No ne","item_id":"12","item_type":"ITEM","user_level":"None","d evice":"SP_iPhone","id":"zzzzz"}
- 23. 使い方
- 25. SELECT JSON_EXTRACT_SCALAR(message, "$.uid") as user_id, JSON_EXTRACT_SCALAR(message, "$.item_id") as item_id, DATE_ADD(STRFTIME_UTC_USEC(time*1000000, "%Y-%m-%d %H:00"), 9, "HOUR") as timestamp FROM (TABLE_DATE_RANGE_STRICT( use_item_, DATE_ADD(CURRENT_TIMESTAMP(), -7, "DAY"), DATE_ADD(CURRENT_TIMESTAMP(), -1, "DAY"))) JSON Path風に指定 Datetimeに変換 ＆TimeZone補正 間近１週間分のTableから取得
- 26. 料金のかかり方 ストレージ $0.020 / GB 転送量 $0.01 / 100,000 row 8/12から $0.01 / 200 MB クエリ課金 $5 / TB 100Gだと$0.05
- 30. ある日
- 36. 可視化
- 37. ModeAnalytics
- 38. ModeAnalyticsとは イカした感じの解析ツール Webベース SQLを登録する → グラフになる シンプル！ 編集者あたり $249/m 閲覧ユーザーは無料
- 44. まとめ BigQueryは簡単なSQLさえあればすぐに使える JSONで突っ込むことでスキーマレスに運用可能 Tableはたくさん。スキーマは一つ。 バックアップとしてのファイル保存は残した方が良い
- 45. ご静聴ありがとうございました