Published on Nov 3, 2017 リクルートライフスタイルでは機械学習を用いたサービスの展開もしています。サービスが増え続ける中で素早く市場に対応するためには、いかに簡単に基盤を作り、運用を減らせていくかが重要になってきます。 上記の課題を踏まえパワーが必要な機械学習処理のためのサーバレス基盤を構築しました。 なぜserverlessを選択したのか？ 構築にあたり使用したStep FunctionsやAWS Batchの注意点と共に機械学習基盤を紹介します。 山田　雄（株式会社リクルートライフスタイル）

1. Step FunctionsとAWS Batch
でオーケストレートするイベン
トドリブンな機械学習基盤
Serverless Conf 2017
11/03 2017
山田 雄
ネットビジネス本部
データ基盤チーム
堤 崇行
ITサービス・ペイメント事業本部
方式基盤技術部

2. ■山田 雄（ヤマダ ユウ）
株式会社 リクルートライフスタイル
ネットビジネス本部
データ基盤T
Twitter:@nii_yan
GitHub:https://github.com/yu-yamada
・以前はメールマーケティング用基盤の作成からデータ分析まで関わる
現在はリクルートライフスタイルの共通分析基盤の開発、運用全般を担当
ビックデータ、Ruby、ビール、カップ焼きそばが好き。
自己紹介

3. 会社紹介

4. リクルートライフスタイルの持つサービス

5. 80%
基盤エンジニアが運用に割いている割合

6. 開発：
運用：
その他：
理想の割合
70%
20％
10％

7. 商品概要

8. トリップAIコンシェルジュ システム概要図

9. 商品概要
• 会社が商品として売り出すものである
• 今後長く使われる可能性がある
• 今後機能が追加になる可能性がある

10. 機械学習基盤に求められるもの

11. Scalability

12. Availability

13. Maintenability

14. Robustness

16. Machine learning pipelines
on-premises
Data load
Machine
learning
on-premises
State control
Cloud trail
Cloud watch
Monitoring

17. Limited interface
on-premises
Data load
Machine
learning
on-premises
State control
Cloud trail
Cloud watch
Monitoring

18. Full managed work flow
on-premises
Data load
Machine
learning
on-premises
State control
Cloud trail
Cloud watch
Monitoring

19. Scalable batch
on-premises
on-premises
State control
Cloud trail
Cloud watch
Monitoring
Data load
Machine
learning

20. Data load
Machine
learning
Visualize
on-premises
on-premises
Cloud trail
Cloud watch
Monitoring
State control

21. State control
Data load
Machine
learning
Infrastructure as code
on-premises
on-premises
Cloud trail
Cloud watch
Monitoring

22. State control
Data load
Machine
learning
Monitoring
on-premises
on-premises
Cloud trail
Cloud watch
Monitoring

23. © 2017 NTT DATA Corporation 23
堤 崇行（ツツミ タカユキ）
株式会社ＮＴＴデータ
ITサービス・ペイメント事業本部
方式基盤統括部
経歴
• Webアプリ開発
• データ基盤開発・運用 / バッチ開発
• ETL / バッチ処理フレームワーク
• ストリーム処理
利用者/運用者/開発者みんなが気持ちよく使える
システムを構築できるよう日々奮闘中
好きなものはチョコレートとビール
自己紹介

24. Machine Learning Pipeline
on-premises
Data load
Machine
learning
on-premises
State control
Cloud trail
Cloud watch
Monitoring

25. Components of Pipelines
Interface

26. Scheduler
Triggers

27. Scheduler or Triggers
Scheduled Task Polling Event Trigger

28. Interface

29. Interface
Interface Processing Interface

30. Processing

31. Batch Processing with Container
Batch
On
Demand
Scalable
AWS Batch

32. AWS Batch
Submit Job
Running
Succeeded
/ Failed
JobのCPU数 / メモリを指定
Job Containerが稼動
終了
“最適な”EC2 Instanceが起動Runnable

33. JobのCPU数 / メモリを指定
“最適な”EC2 Instanceが起動
Job
CPU数
メモリ
EC2
CPU数
メモリ
CPU: 8
メモリ: 24GiB
Type: m4.2xlarge
CPU: 8
メモリ: 32GiB
CPU: 8
メモリ: 500GiB
Type: r4.16xlarge?
CPU: 64
メモリ: 488GiB

34. Step Functions
Workflow
Scalable
Managed
Event
Driven
Control AWS Batch

35. Event Driven
BatchStep FunctionsLambdaS3
Data

36. AWS Step Functions & Batch
State Machine
Submit
Get Status
Loop

37. Monolithic or Micro?

38. Micro State Machine
Pre-
processing
(Data Load)
Processing
(Machine
Learning)

39. Relay Step Functions
Batch Results
BatchStep Functions
BatchStep Functions

40. Event Driven with Lambda
ExecutionTrigger
S3 Eventで
Lambdaを実行
起動成功
起動失敗
多重起動

41. Event Driven with Lambda
Failures & Solutions
SolutionsFailuresTrigger
S3 Eventで
Lambdaを実行
起動失敗 再実行
多重起動
多重起動の阻止
多重起動OK

42. Retry when Execution Failed
Polling
DLQ
DLQによる確実なLambdaの実行
Cloud Watch Events
Event

43. Preventing Multiple Starts
DynamoDBでステート管理
Conditional
Put Item
Update Item
Batch Status
State Control DB
Start Execution
DON’T Start
CAN’T Put

44. Support Idempotent Batch
べき等性のあるBatch Jobを実装
多重起動しても正常を保つ
Upsert
Unique Object name
Get Latest Object

45. Monitoring

46. Monitoring: Alerts
Cloud Watch Logs
Log監視
Lambdaをフィルタで振分け
ERRORログを検知
Subscription
Filter
Info
Alert

47. Monitoring: Alerts
Batch Status監視
長時間Runnableを検知
Submit
Running
Succeeded
/ Failed
Job Containerが稼動
“最適な” EC2 Instanceが起動Runnable

48. Monitoring: Alerts
Step Functionの起動監視
一定の時間以上起動していないを検知
BatchStep FunctionsLambdaS3Data

49. Monitoring: Visualize Batch Status
DynamoDB
Streams
ES

50. Machine Learning Pipeline
Cloud trail
Cloud watch
Monitoring
BatchStep
Functions
S3 LambdaObjects
DynamoDB

51. Monitoring
Machine Learning Pipeline
on-premises
Data load
Machine
learning
on-premises
State control
Cloud trail
Cloud watch

52. 最後に

53. 一緒に基盤作ってくれる人募集中！！！
http://engineer.recruit-lifestyle.co.jp/recruiting/

54. Happy serverless development!!