Gunosyにおける仮説検証とABテスト

1. Gunosyにおける仮説検証とABテスト
株式会社Gunosy メディア事業本部
小澤俊介
2018.9.11

2. 2©Gunosy Inc.
自己紹介
● 小澤俊介（こざわしゅんすけ）
○ skozawa (twitter: @5kozawa)
● Gunosy メディア事業本部 ルクラ事業部
○ データ分析、ロジック開発全般

3. 3©Gunosy Inc.
はじめに
● グノシーではプロダクト改善のために、日々、仮説検証を回
し、効果測定を行なっている
○ 機能追加、アルゴリズム変更、UI変更など
● ニュースアプリのため、記事の質や季節要因などの影響を受
けやすい
● データに予期しないノイズが乗り、計測が困難になる
○ e.g 機能実装後にバグが発生し、実装により効果が上が
ったのか確認できない

4. 4©Gunosy Inc.
効果測定（よくない例）

5. 5©Gunosy Inc.
効果測定（よくない例）

6. 6©Gunosy Inc.
効果測定（よくない例）

7. 7©Gunosy Inc.
ABテスト
特定のアルゴリズムやUIを2種類用意し、ユーザ毎に出し分け
て検証する
メリット
● 時間変化などのノイズが入りにくい
● 最適化すべきメトリクスが決まってさえいれば
単純なクロス集計で済む

8. 8©Gunosy Inc.
効果測定

9. 9©Gunosy Inc.
開発/仮説検証の流れ
1. 仮説を立てる
2. 指標を決める
3. ログの設計
4. ABテスト対象ユーザの選定
5. 実装、リリース
6. 集計
7. 可否決定

10. 10©Gunosy Inc.
開発/仮説検証の流れ
1. 仮説を立てる
2. 指標を決める
3. ログの設計
4. ABテスト対象ユーザの選定
5. 実装、リリース
6. 集計
7. 可否決定
価値仮説シートを利用
価値仮説シート
（ユーザ） は
（欲求） （し）たいが、
（課題） （でき）ないの
で、
（製品の特徴） （こと）に価値がある
https://speakerdeck.com/katsuma/service-development-for-users?slide=36
価値仮説シート（仮）
ユーザは
好きなメディアの最新記事をチェックしたいが、
メディアで絞って記事を読めないので、
メディアごとの記事閲覧機能に価値がある
LUCRAでの施策：フォロータブの改善

11. 11©Gunosy Inc.
開発/仮説検証の流れ
1. 仮説を立てる
2. 指標を決める
3. ログの設計
4. ABテスト対象ユーザの選定
5. 実装、リリース
6. 集計
7. 可否決定
KPIを決める
● 継続率
● 記事クリック数
● メディアフォロー数
など

12. 12©Gunosy Inc.
開発/仮説検証の流れ
1. 仮説を立てる
2. 指標を決める
3. ログの設計
4. ABテスト対象ユーザの選定
5. 実装、リリース
6. 集計
7. 可否決定
● KPIに基づいてエンジニア
（サーバ、クライアント）
がログを設計
● 分析チームでレビュー
○ KPIの項目が分析できるかど
うか
○ その他、追加で分析したい項
目があるかどうか

13. 13©Gunosy Inc.
開発/仮説検証の流れ
1. 仮説を立てる
2. 指標を決める
3. ログの設計
4. ABテスト対象ユーザの選定
5. 実装、リリース
6. 集計
7. 可否決定
● 以前はuser idを割った値を
利用
○ テストが複数同時に走るとバ
イアスがかかる可能性がある
○ e.g. 同じ人がコントロールに
当たる
● 現在はuser idのハッシュ関
数を利用して割り当て
○ 詳細：ABテストの対象をいい感
じに割り振る方法

14. 14©Gunosy Inc.
開発/仮説検証の流れ
1. 仮説を立てる
2. 指標を決める
3. ログの設計
4. ABテスト対象ユーザの選定
5. 実装、リリース
6. 集計
7. 可否決定

15. 15©Gunosy Inc.
システム全体像
ABテストAPI
Kinesis redshift

16. 16©Gunosy Inc.
開発/仮説検証の流れ
1. 仮説を立てる
2. 指標を決める
3. ログの設計
4. ABテスト対象ユーザの選定
5. 実装、リリース
6. 集計
7. 可否決定
● KPIを集計
○ redshift, presto, athena,
BigQueryなど
○ AB集計用のredashのダッシ
ュボードを作成
■ 中間テーブルを生成して
A/Bテストの集計を効率化
する
● サンプルサイズ確認
○ 効果量、有意水準、検出力か
ら算出

17. 17©Gunosy Inc.
開発/仮説検証の流れ
1. 仮説を立てる
2. 指標を決める
3. ログの設計
4. ABテスト対象ユーザの選定
5. 実装、リリース
6. 集計
7. 可否決定
● 集計結果を分析
○ 分析は施策オーナー主体
○ 分析チームがサポート
● レポーティング
○ コンフル
● 次のアクションを決める
○ ABの拡大、棄却
○ 追加分析

18. 18©Gunosy Inc.
まとめ
● グノシーでの仮説検証の紹介
○ LUCRAでの事例