Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

Hivemall meetup vol2 oisix

3 512 vues

Publié le

Hivemall meetup vol2 oisix 2015/10/20

Publié dans : Données & analyses
  • Soyez le premier à commenter

Hivemall meetup vol2 oisix

  1. 1. #219229093 #095095095 #174006002 #171171171 Hivemall を使って、 解約 を 減らせた そう な話 2015/10/21 オイシックス株式会社 1 2015年年10⽉月20⽇日 Oisix  システム部   普川  泰如 第⼆二回  Hivemall  Meetup
  2. 2. 今日お話しすること 2015/10/21 オイシックス株式会社 2 •  ⾃自⼰己紹介 •  オイシックスについて •  定期会員の解約予想 •  今回やったこと •  実例例、Hivemallのコードみせちゃいます •  機械学習導⼊入までの道のり
  3. 3. 自己紹介 2015/10/21 オイシックス株式会社 3 普川  泰如(ふかわ  たいすけ) オイシックス株式会社 システム本部  システム部 •  イクボスアワード特別奨励賞受賞。昨⽇日授賞式⾏行行ってきました。 •  普段はECサイト系システム開発 •  機械学習は完全に素⼈人
  4. 4. 4 オイシックスのビジネス
  5. 5. 5 オイシックスのビジネス
  6. 6. 発注 収穫 納品 配送ご来店 ご注⽂文 お受取 ビジネスシステム お客様 ⽣生産者さんオイシックス サ ブ ス ク リ プ シ ン 型 ( 定 期 購 ⼊入 ) おいしっくす くらぶ おいとく (オートシップ) 都度度単品から購⼊入 産地直送サービス
  7. 7. オイシックスの定期会員 2015/10/21 オイシックス株式会社 7 ・現状10万⼈人程度度 ・週1回ご注⽂文される⽅方が全体のほぼ半分 ・Oisixの売上、利利益を多くをこの会員からの購 ⼊入でまかなう ・ここの解約者を減らすのはかなり会社的に⼤大事
  8. 8. 今回やったこと 2015/10/21 オイシックス株式会社 8
  9. 9. 定期会員の解約予測 2015/10/21 オイシックス株式会社 9
  10. 10. 退会者予測の概要 2015/10/21 オイシックス株式会社 10 過去1ヶ⽉月間のデータをもとに       未来1ヶ⽉月間に解約するであろう顧客リストを作成 現時点で、おおよそ30%  (適合率率率ベース)  の精度度で予測可能 1ヶ⽉月間のデータ 今 1ヶ⽉月間で解約する⼈人 過去 未来
  11. 11. 事例紹介:Oisix 会員解約予測 2015/10/21 オイシックス株式会社 11 予測に使っているデータ 顧客属性 流流⼊入元 サイト⾏行行動 利利⽤用サービス クレーム情報
  12. 12. 解約予測ができるとわかること 2015/10/21 オイシックス株式会社 12 1.  未来1ヶ⽉月で退会確率率率の⾼高い顧客IDリスト 2.  解約となる顧客の振る舞い 3.  解約とならない顧客の振舞い
  13. 13. どうやって解約者数減につなげるのか 2015/10/21 オイシックス株式会社 13          -‐‑‒  ポイント付与       -‐‑‒  キャンペーン実施       -‐‑‒  ケアコール 顧客IDリスト 解約、⾮非解約への 振る舞い          -‐‑‒  WebのUI変更更       -‐‑‒  サービス改善       -‐‑‒  成功体験への誘導 直接的施策 間接的施策
  14. 14. ここまでで、出てきた成果 2015/10/21 オイシックス株式会社 14 途中経過だが、解約予測リストへのポイント付与で 解約率率率が半減している実績あり 直接的施策(解約者リストにアタック) 間接的施策(解約者理理解促進) 解約者の振舞い   おそらく解約につながりそうな事柄が⽩白⿊黒ついた    ⾮非解約者の振舞い   機械学習でなければ、わからなかった振舞いが明らかに! キャンペーン終了了直後 督促連絡後 サイト訪問⽇日 雑貨や嗜好品購⼊入
  15. 15. 実例、 Hivemallのコードみせちゃいます 2015/10/21 オイシックス株式会社 15
  16. 16. 機械学習の種類 2015/10/21 オイシックス株式会社 16 解約するであろう顧客予測… ロジスティック回帰 教師あり学習 (Supervised  Learning) 分類モデル
  17. 17. 機械学習の流れ 2015/10/21 オイシックス株式会社 17 機械学習⽤用テーブル作成 正規化(スケーリング) 学習モデル作成 テスト実施(精度度確認)
  18. 18. 機械学習用テーブルの概念図 2015/10/21 オイシックス株式会社 18 年年齢 購⼊入単価 サイト 訪問回数 会員種別A …… 顧客A 54 50000 4 1 顧客B 34 40000 3 顧客C 44 300000 2 1 顧客D 45 0 0 1データ  1⾏行行として列列に要素を並べる。 数値以外の要素は0,1のデータに整形する。 (会員種別が3つの場合は3つ別々の項⽬目でそれぞれ0,1で表現する)
  19. 19. 正規化(スケーリング) オイシックス株式会社 19 数値の絶対値を揃えるため実施。 Hivemallでは⽤用意された関数をつかえばOK select � id, t1.feature, � zscore(t1.value, t2.mean, t2.stddev) as score� -- rescale(t1.value, t2.min, t2.max) as score� from � quantative t1 JOIN� quantative_stats t2 ON (t1.feature = t2.feature) � where� t1.value is not null�
  20. 20. 学習モデル作成  2015/10/21 オイシックス株式会社 20 select � feature,� avg(weight) as weight� from � (select � adadelta(features, kaiyaku) as (feature, weight)� from � train_x3� ) t � group by feature� ロジスティック回帰⽤用の関数をつかうだけ!
  21. 21. モデル作成結果はテーブルに格納します 2015/10/21 オイシックス株式会社 21 Feature Weight Vip_̲Flg#T -‐‑‒18.5 point -‐‑‒12.3 Cancel_̲cnt 14.5 PV_̲PC 10.3
  22. 22. 解約リスト作成 モデル☓データから解約確率をだす 2015/10/21 オイシックス株式会社 22 S E LE C T � t .k o k y ak u _ i d,� si g mo i d( S U M ( m.w e i g h t * t .val u e ) ) AS k a i y a k u _ pr o b ,� C AS E � W HE N si g mo i d( S UM(m.w e i g h t * t .val u e ) ) > = 0 .5 THE N 1� E L S E 0 � E N D AS pre di c t e d� FR O M� ml _ o i si x _ re g u l ar_ cu st o me r_ can ce l _ t e st 0 3 _ e x pl o de d_fuk aw a1 t � L E FT O U TE R J O I N adade l t a_ mo de l _ fu k aw a1 m� O N ( t .fe at u re = m.fe at u re ) � GR O UP BY � t .k o k y ak u _ i d� Sigmoid関数で解約率率率に変換  確率率率50%以上=解約者としている
  23. 23. 機械学習導入までの道のり 2015/10/21 オイシックス株式会社 23 Web系企業における
  24. 24. 導入までの道のり 2015/10/21 オイシックス株式会社 24 •  企画 •  対象選定(何に機械学習が使えるのか) •  パイロットテスト •  チューニングと仮運⽤用 •  チューニングして精度度をあげる •  実際に施策をして効果を確認する •  本実装  ←いまココ! •  運⽤用
  25. 25. 対象選定:機械学習を導⼊入しやすくする3つの条件 2015/10/21 オイシックス株式会社 25 A. データが⼗十分にあるか(作れるか) B. ⽩白⿊黒はっきりつけられるデータか C. 学習結果が効果に直結するか 解約者予測の場合を評価 A.△:完全ではないが効果があがる程度度はある B.◯:解約する/しないで、はっきりしてる C.◯:1⼈人解約を減らすこと=会員獲得コスト         とみなせる
  26. 26. パイロットテスト   2015/10/21 オイシックス株式会社 26 •  机上の限界 •  マジで有意義な成果が出るのか? •  コスト投下すべきか? まずは、試してみるのが⼿手っ取り早い Treasure  Data  ×  Hivemall  →  ハードル低
  27. 27. Pandas + Jupiter 最強! 2015/10/21 オイシックス株式会社 27 •  機械学習の⼀一連の流流れをコメント付きで1ファ イルにまとめられる •  繰り返し実⾏行行できて、チューニング向き •  そのままPythonのプログラムになる •  他の⼈人への共有もHTMLのエクスポートで楽々
  28. 28. チューニング 2015/10/21 オイシックス株式会社 28
  29. 29. チューニングのススメ方 2015/10/21 オイシックス株式会社 29 チューニング  =  対象データの因果関係を 明らかにしていく⾏行行為 –  要 素 を 増 や す –  切切 り ⼝口 を 変 え る –  ノ イ ズ デ ー タ を 外 す 例例:  ログイン回数データ       →曜⽇日別ログイン回数としたら精度度UP
  30. 30. 機械学習のスケジュール管理 2015/10/21 オイシックス株式会社 30 チューニングは期間的な⾒見見積もりが難しい、 ある程度度の試⾏行行錯誤は必須 1. 仮運⽤用でもはじめるとわかること結構ある •  計画段階で、チューニングにかけるコストと期間を決めて、精度度が⼗十 分でなくても仮運⽤用をはじめた⽅方が良良さそう。 2. 分析⽤用のデータを作っておくと⽴立立ち上がり早い
  31. 31. 精度目標の話 2015/10/21 オイシックス株式会社 31 たとえ予測精度度が100%でもダメな場合がある? 適合率率率と再現率率率の話 – ⺟母集団…1000⼈人 – 実際に解約した⼈人…100⼈人 – 解約予測された⼈人…50⼈人 – 解約予測されて解約した⼈人…30⼈人
  32. 32. 精度目標の話 2015/10/21 オイシックス株式会社 32 適合率率率     →解約予測した⼈人が、実際どれだけやめるか。                 60%(30/50) 再現率率率     →  実際解約した⼈人のうち、何⼈人を予想できたか               30%(30/100) 100 50 1000⼈人(⺟母集団) 実解約者 30 解約予想者 それぞれでチューニング⽬目標 を設定する必要がある。
  33. 33. チーム体制について 2015/10/21 オイシックス株式会社 33 早い段階でのデータ分析者と業務担当者との 協⼒力力体制は必須 –  どういうデータが関係ありそうかの知⾒見見が深い –  機械学習を施策に落落とすまでがスムーズ –  ただし過度度な期待はさせない
  34. 34. より効果に直結する予測とは 2015/10/21 オイシックス株式会社 34 数字に現れない質の良良い予測、悪い予測がある –  引き⽌止めやすい退会者と、引き⽌止められない退会者 –  今回はデータセットから外した データセットから対象外にする 抽出された結果データを直接⾒見見るのは⼤大事
  35. 35. 今後の予定 本実装と運用 2015/10/21 オイシックス株式会社 35 1.  精度度アップ   2.  ⾃自動化  第⼀一フェーズ 解約リスト作成 3.  ⾃自動化  第⼆二フェーズ 引き⽌止め施策オートメーション化
  36. 36. まとめ 2015/10/21 オイシックス株式会社 36
  37. 37. まとめ 2015/10/21 オイシックス株式会社 37 •  導⼊入ハードルが低い! •  Hivemallを使うと統計の専⾨門知識識なしに機械学習が導⼊入 •  すぐやれます。僕らでもやれました。 •  業務側との協⼒力力体制構築 •  やっぱり業務知っている⼈人は、良良いこと⾔言ってくれる! •  ただし過度度な期待はさせない •  精度度アップより効果アップ ・予測をあてるより、効果が上がることが⼤大事
  38. 38. ゼロから機械学習をつけるのに やくだったもの 2015/10/21 オイシックス株式会社 38
  39. 39. 2015/10/21 オイシックス株式会社 39 http://qiita.com/daxanya1/items/218f2e3b922142550ef9� ↑これ⼀一番しっくりきました。Coursera  最強です
  40. 40. ありがとうございました。 2015/10/21 オイシックス株式会社 40

×