How Mercari achieves machine learning engineering and operation.

1. メルカリ
機械学習
開発㊙話
2018/10/26 Mercari ML Meetup
株式会社メルカリ 機械学習エンジニア
澁井雄介

2. Agenda
❖ Topic: 違反検知
➢ Mercari ML Secret No. 1 ~Modelling~
➢ Mercari ML Secret No. 2 ~SysML~

3. $whoami
● 澁井 雄介 : @shibuiwilliam or @cvusk
○ 株式会社メルカリ 機械学習エンジニア
● 経歴
○ 文学修士(イギリス旅行史)
→富士通→IBM→SAS→パナソニック
○ 株式会社メルカリ
■ 機械学習によるサービス改善
■ 機械学習プラットフォーム開発
cat : 0.55
dog: 0.45
文系 : 0.60
理系 : 0.40
Object
Detection

4. クイズ！？
伊能忠敬
ドラクエ６
機械学習
エンジニア
共通点は？？

5. 正解は！？
伊能忠敬
ドラクエ６
機械学習
エンジニア
地図を作る
江戸時代に
日本中を歩いて測量し、
初の日本地図を作った人
行ったことのある場所が
書き込まれていく
「不思議な地図」
未知の特徴空間を
探索する！？

6. メルカリが保有するデータ規模
数十万出品
／日

7. 違反出品を探せ
● C2Cのデータは未知のデータ。ところどころ靄がかっている。
書籍
玩具
メンズ
レディース
電化製品
消費財
文房具
家具

8. 違反出品を探せ
● C2Cのデータは未知のデータ。ところどころ靄がかっている。
書籍
玩具
メンズ
レディース
電化製品
消費財
文房具
家具

9. 機械学習で解決したい課題
「安全に」
● 大量多カテゴリの超不均衡データの中から違反出品を検知する
「素早く」
● 新たな違反出品の検知に素早く追随する

10. 多値分類による違反出品検出
● ベースモデル: 単純な特徴量の連結を行い線形モデル mAP: 0.7487
● マルチモーダル: CNNとMLPによる特徴量を
concat → MLP mAP: 0.7690
max-pooling → MLP mAP: 0.7704
安全に!

11. 多値分類の課題
1. 商品カテゴリによって特徴空間が違う。
2. 時間とともに特徴空間が変わる。
3. 違反カテゴリによって緊急度と対応が違う。
安全に!
？

12. 特定カテゴリ二値分類による違反出品検出
● 特定のカテゴリに特化した違反出品検出器を二値分類で実装
安全に!
Binary classifier for a
certain category
Binary classifier for a
certain category
Binary classifier for a
certain category
Binary classifier for a
certain category
0
0
1
0
Different model per objective
Different training process per model
・・・
!!

13. ● Machine learning in cyclic workflow
目指すは機械学習をE2Eでカバーするプラットフォーム
素早く!
Deploy
Monitoring
Evaluation
Hyper
parameter
optimization
Re-Training
Training
Hyper
parameter
optimization
import tensorflow as tf
def neural_net(x_dict):
x = x_dict['images']
layer_1 = tf.layers.dense(x, n_hidden_1)
layer_2 = tf.layers.dense(layer_1, n_hidden_2)
out_layer = tf.layers.dense(layer_2, num_classes)
return out_layer
...

14. 日中はコーディング→学習→デプロイを効率化
素早く!
Deploy
Training
Hyper
parameter
optimization
import tensorflow as tf
def neural_net(x_dict):
x = x_dict['images']
layer_1 = tf.layers.dense(x, n_hidden_1)
layer_2 = tf.layers.dense(layer_1, n_hidden_2)
out_layer = tf.layers.dense(layer_2, num_classes)
return out_layer
...

15. Search Space
Katib
Grid Search
Random Search
Bayesian Optimization
Hyperband Optimization
Genetic Algorithm(coming soon)
● Optimization distributed on Kubernetes cluster to search for the best ML parameters
● Automatically distributed over cluster
● Efficiently searches for the optimized parameters
● Early stopping once reached target
https://github.com/kubeflow/katib

16. 夜間は運用を自動化するContinuous Deployment
素早く!
Istio
Deploy
Monitoring
Evaluation
Hyper
parameter
optimization
Re-Training

17. 目指すは機械学習とオペレーションをカバーするプラットフォーム
品質と再利用性
モデルの
パフォーマンス維持
正しい
教師データの蓄積

18. 行き着いたのは「まっとうな」コーディングと業務設計
if readable and high_acc:
return “PR”
else:
return “refactor”
Anomaly
data table

19. Takeaways!
❖ 「安全に」メルカリを使っていただくための違反出品検知
➢ 日々更新される多様なデータを、カテゴリに特化した二値分類で検知する
❖ 「素早く」メルカリを改善するためのE2E機械学習プラットフォーム
➢ オペレーションと協力してモデル追加とチューニングを効率化する