金銭的な節約と分析の幅の担保をどうやって両立したか

1. 弊社BigQuery節約事例

2. 自己紹介
名前:石原将
広告エンジニア
アドサーバーの開発
広告周り分析基盤の開発

3. 話す事
BigQueryの費用の話
ざっくりとした節約の話
話さない事
BigQueryの詳しい話
細かいテクニカルな節約手法

4. GoogleBigQuery
あらゆる規模の分析に対応できる、高速かつ高スケーラビリティで
コスト効率に優れたエンタープライズ向けフルマネージドデータウ
ェアハウス

5. BigQueryの良さ
気楽(indexとか気にしなくていい)
早い
安い
脳死してデータを入れるだけでも、高速な大規模分析ができる！

6. 弊社広告配信サーバーでの利用事例
広告を表示する際のリクエストログをBigQueryに保存
機能開発やデータ分析・機械学習の研究などに利用
BigQueryに蓄積されているデータは欠かせない資産

7. どのくらいのデータを保存しているか
1日のリクエスト数は4～5億件
容量だと、約500～600GB
1ヶ月での総容量15TB(15,000GB)

8. ストレージの利用料金
BigQueryのストレージ料金(月)
0.02$/GB(月)
1ヶ月での総容量15TB(15,000GB)
1ヶ月分のログで約300$
ただし、長期保存(3ヶ月以降)データは料金が半額になる
一年分のデータを保存すると、毎月2,250$(約25万円)

9. クエリ実行での利用料金
BigQueryのクエリ実行料金
5$/1TB(従量課金)
前述したログに対してクエリを実行すると仮定すると・・・
1.広告表示シミュレーションでの利用
約65万円
2.各種分析での利用
約55万円
毎月約120万円分くらいのクエリを実行してる

10. 1月あたりの総料金は・・・
概算してみると、
ストレージが25万円でクエリが120万円、
150万円/月もかかってしまう

11. さすがに高いので節約してる
色々な手段で節約してるが・・・
一番大きいのはリクエストログのサンプリング

12. リクエストのサンプリングとは
全てのリクエストログをBigQueryに保存しない
ランダムに100分の1だけサンプリングしてBigQueryに挿入
単純に1ヶ月あたりの費用が100分の1に!
ストレージの容量が節約できるので、数年分保存できる

13. しかし、分析に支障が出る・・・
リクエストをランダムにサンプリングしているので、一人のユーザ
ーにフォーカスした分析が不可能。
例えば、「一人のユーザーが1日に何回広告を見たか」とかのデー
タが取れない・・・

14. 対策
訪問者によるサンプリング
訪問者ごと100人に1人サンプリングしたテーブルを別に用意
つまり、100人に1人は全量のログを保管する
100人中99人のログは切り捨てる
正確に言うと、各訪問者にブラウザユニークなIDを発行、cookieに保存
して、この値を元にサンプリング。

15. 100人に1人サンプリングで、分析の幅も担保
1ヶ月たりの費用は50分の1に！
柔軟な分析も可能

16. まとめ
費用を50分の1に節約できた
ログを全量を保存せずにサンプリング
毎月150万円かかりそうだった費用を3万円
分析の幅の担保
訪問者ごとにサンプリングしたテーブルを別に用意
分析内容に応じて、ランダムにサンプリングしたテーブルと使い分
け

17. 宣伝
ピクシブ株式会社では正社員・アルバイト共に募集中です。
転職活動中の方や、ピクシブでバイトしてみたい学生さんがいまし
たら、ぜひ応募してね