運用で泣かないアーキテクチャで動く原稿作成支援システム ～リクルートにおけるDeepLearning活用事例～
•
3 j'aime•26,196 vues
2016/11/18 数理システムユーザーコンファレンス2016での、西村の講演資料になります
Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à 運用で泣かないアーキテクチャで動く原稿作成支援システム ～リクルートにおけるDeepLearning活用事例～
Similaire à 運用で泣かないアーキテクチャで動く原稿作成支援システム ～リクルートにおけるDeepLearning活用事例～ (20)
Plus de Recruit Technologies
Plus de Recruit Technologies (15)
Dernier
Dernier (12)
運用で泣かないアーキテクチャで動く原稿作成支援システム ～リクルートにおけるDeepLearning活用事例～
- 2. 自己紹介 • 西村隆宏 2015/4月リクルートホールディングス入社 + 東京大学協力研究員（2年目） 業務内容 リクルート横断レコメンドプロジェクトの推進 海外スタートアップ（主にイスラエル）との協業 R&D(主にNLP, 位置情報, マルチモーダル)の開発、分析、推進、アーキテクト 2
- 3. アジェンダ • リクルートの紹介 • リクルートにおける原稿作成の負荷 • RNNを用いた文章作成支援システム • 高速に検証を回すためのアーキテクチャ • なぜデータ解析者がインフラもアーキテクチャも見るのか 3
- 4. リクルートの紹介 4
- 6. リクルートの海外展開 6
- 14. Neural Networks • 一般的に言われているNeuralNet（FF型）は下記の通り、何個かのレ イヤをxが順方向に通る事でyとの関係性を学習するもの • 制約としてxもyも次元を固定しなければならない。 （が、自然言語処理に適用する場合多くの問題がある） 14
- 15. 自然言語処理で起きうるタスク • 文章はそもそも下記の特徴があり、 - 可変長である → 固定長に無理やり変換しなければいけない(e.g. BoW) - 単語の順番によって意味が変わる → 系列性を取り込む構造を持たせなければならない 15
- 16. Recurrent Neural Networks(RNNs) • ネットワークに閉路を持たせることで系列性を考慮した学習を行う事が可能なNeural Network • 閉路を展開すると、FF型のNeuralNetworkと同等の形に展開できるが、系列が長くなる ほどxからyの距離が遠くなるため学習が難しくなる （この問題を一部解決したのがDeepLearningと言われる分野が開拓した領域） 16 閉路を展開
- 19. RNNの学習の方法 • RNNに含まれる閉路を時間展開した形で考え、 展開した形でBackPropする (Back Propagation Through Time) 19
- 20. RNNの学習の方法 20 • RNNに含まれる閉路を時間展開した形で考え、 展開した形でBackPropする (Back Propagation Through Time)
- 21. RNNの学習の方法 21 • RNNに含まれる閉路を時間展開した形で考え、 展開した形でBackPropする (Back Propagation Through Time)
- 22. RNNの学習の方法 22 • RNNに含まれる閉路を時間展開した形で考え、 展開した形でBackPropする (Back Propagation Through Time)
- 23. RNNの学習の方法 23 • RNNに含まれる閉路を時間展開した形で考え、 展開した形でBackPropする (Back Propagation Through Time)
- 24. RNNの学習の方法 24 • RNNに含まれる閉路を時間展開した形で考え、 展開した形でBackPropする (Back Propagation Through Time)
- 26. Long Short Term Memory(LSTMs) • LSTMは内部で学習に必要な情報のみ選択的に貯める • RNNsの中間層をLSTM Blockに置き換えると、 さらに長距離依存の学習を行える。 26 （参考）An Empirical Exploration of Recurrent Network Architectures
- 27. Stacked LSTM • LSTMを複数直列したRNN • 入力に近いLSTMが短距離、 遠いLSTMが長距離依存の情報を担当（と言われている） 27
- 28. LSTMの亜種 • Gated Recurrent Unit(GRU), Minimal Gated Unit (MGU), Simple Gated Unit(SGU)が有名 • 論文ではLSTMと比較し性能優位認められず、学習速度、 モデルの大きさが小さいと言われている（正直タスク依存だと思うが） • 業務ではGRUのみ検証したが、最終的にはLSTMを採用 28 Simple Gated Unit (SGU)
- 29. 言語モデル学習時の課題 • 生成フェーズで誤った単語を 選択してしまうと 文章が成り立たなくなる 問題が報告されている 29 学習時: 目標が常に存在する 生成時: 目標が存在しない Bengio, Samy, et al. "Scheduled sampling for sequence prediction with recurrent neural networks." Advances in Neural Information Processing Systems. 2015.
- 30. Scheduled Sampling • 学習時にモデルの出力を確率εで一 部利用 • 生成タスクを早めに機械に 利用させ学習させる事で、 生成時の誤り単語出力確率を 下げる効果がある 30 Bengio, Samy, et al. "Scheduled sampling for sequence prediction with recurrent neural networks." Advances in Neural Information Processing Systems. 2015.
- 35. 最初期の文章推薦システム • 開発速度が遅い • APIも遅い • 気づいたら落ちてる • GPUインスタンスの落とし 忘れによる出費が痛い 35
- 38. Serverlessとは (Function as a Services) • 適当なコードをデプロイすると、あるイベントを元に自動でデプロイしたコードが実行され るサービスのこと。AWSだとLambda, GCPだとCloudFunction 例） - S3に任意のサイズの画像がアップロードされたらデータを64x64にリサイズする - API Gatewayが叩かれたらEC2インスタンスを自動で起動/終了する - RNNのモデルが完成したらメールで通知してくれる 38 イベントを検知して 処理を簡単な処理を実行するマネージドサービス Lambda
- 46. CLBとALBについて • Classic Load Balancer - 昔からAWSにあるLoadBalancer - L4 (IP単位)の負荷分散を担当 (L7でも可能) Application Load Balancer - 最近AWSから提供されるように なったLoadBalancer - L7 (URL単位)の負荷分散を担当 (WebSocketやHTTP/2も対応) 46
- 50. 定期的に行われる再学習の管理 • 機械学習のシステム - 時間が経つと性能劣化する → 定期的に再学習する必要がある →再学習の管理にAzkabanを利用し、 定期的にHTTPRequestをAPIGatewayに送る事で モデルの再学習を行う 50
- 51. 結局初期の問題は解決したのか • 開発速度が遅い 🙆データを置けばWebで適当にクリックするだけで 学習から文章推薦APIまでデプロイ可能 • APIも遅い 🙆数十秒〜数分→数秒程度に高速化 • 気づいたら落ちてる 🙆気づかなくても落ちない • GPUインスタンスの落とし忘れによる出費が痛い 🙆無料枠の恩恵＋適切なインスタンス起動/終了によりAWSのコストが半額 • 運用は楽になったか 🙆楽だけど、仕組みを作るのはしんどかった 52
- 55. 本日持ち帰って頂きたい事 • リクルートにおける原稿作成は（コア業務なので）非常に作成コストが掛か っており、負担を低減させる仕組みが必要だった • RNNを利用した言語モデルを原稿作成支援システムに適用することで作成 負担がある程度減った。 • AWSのマネージドサービスを機械学習の技術を用いたサービスに 多用することで、AWS利用費も管理コストも下げる事が可能になった。 • データ解析者が開発物のインフラやアーキテクチャまで 目を向ける事により、良いシステムが短期間で開発できるようになる 56
- 56. 本日持ち帰って頂きたい事 • リクルートにおける原稿作成は（コア業務なので）非常に作成コストが掛か っており、負担を低減させる仕組みが必要だった • RNNを利用した言語モデルを原稿作成支援システムに適用することで作成 負担がある程度減った。 • AWSのマネージドサービスを機械学習の技術を用いたサービスに 多用することで、AWS利用費も管理コストも下げる事が可能になった。 • データ解析者が開発物のインフラやアーキテクチャまで 目を向ける事により、良いシステムが短期間で開発できるようになる 57