鷲崎弘宜, 機械学習システムの33のアーキテクチャパターンおよびデザインパターン, スマートエスイーセミナー: 機械学習デザインパターンとアジャイル品質パターン, 2019年11月8日(金), 早稲田大学 西早稲田キャンパス

1. 機械学習システムの33のアーキテク
チャパターンおよびデザインパターン
鷲崎 弘宜
早稲田大学 / 国立情報学研究所 / システム情報 / エクスモーション
washizaki@waseda.jp
http://www.washi.cs.waseda.ac.jp/
スマートエスイーセミナー:
機械学習デザインパターンとアジャイル品質パターン2019年11月8日 r2
Hironori Washizaki, Hiromu Uchida, Foutse Khomh and Yann-Gaël Guéhéneuc,
“Studying Software Engineering Patterns for Designing Machine Learning
Systems,” The 10th International Workshop on Empirical Software Engineering in
Practice (IWESEP 2019), Tokyo, Japan, on December 13-14, 2019.
https://arxiv.org/abs/1910.04736

2. 機械学習アーキテクチャ・デザインパターンの
全体像に向けて
• RQ1. ML開発者はMLシステム（MLS）の設計をどのように捉えて扱
っているのか？
– 方法: アンケート調査
– 結果: MLアーキテクチャ・デザインパターンについてほとんど知られ
ていない。
• RQ2. 学術論文や技術文書はMLSの設計をどのように扱っている
のか？
– 方法: 体系的文献調査
– 結果: 学術論文19編、技術文書19編
• RQ3. MLアーキテクチャ・デザインパターンはどのように分類できる
か？
– 方法: 様々な代表的プロセスの検討
– 結果: MLパイプラインプロセスおよびISO/IEC 12207ソフトウェアライフ
サイクルプロセスによる分類
• RQ4. MLアーキテクチャ・デザインパターンにはどのようなものがあ
るか？
– 方法: 文献からのパターン抽出およびプロセス上での分類
– 結果: 33のパターンを抽出、データ・フィーチャ系のパターン未特定 2

3. RQ1. ML開発者はMLシステムの設計
をどのように捉えて扱っているのか？
• 方法: 760+名の主として企業人へのアンケート調査
• 結果: 9名の回答。MLアーキテクチャ・デザインパタ
ーンについてほとんど知られていない。
3
参照アーキテクチャやパター
ンをMLSの設計において用い
ているか？
Yes No
3 (一般的なアーキテクチャ、
デザイン、クラウドパターン）
5
MLSの要求をどのように獲得
しているか？
パターン テンプレートや
プロセス
アドホック
0 2 7
MLSの非機能的特性をどのよ
うに保証しているか？
パターン プロセス アドホック
1 1 6

4. RQ2. 学術論文や技術文書はMLシステム
の設計をどのように扱っているのか？
• 方法:体系的文献調査
– 学術論文メタサーチエンジンEngineering Village
– 一般サーチエンジンGoogle
• 結果: 学術論文19編 s1-s10 & a1-a9、技術文書19編
g1-g19
4
((((system) OR (software)) AND (machine learning) AND (implementation pattern) OR
(pattern) OR (architecture pattern) OR (design pattern) OR (anti-pattern) OR (recipe) OR
(workflow) OR (practice) OR (issue) OR (template))) WN ALL) + ((cpx OR ins OR kna) WN
DB) AND (({ca} OR {ja} OR {ip} OR {ch}) WN DT)
(system OR software) "Machine learning" (pattern OR "implementation pattern" OR
"architecture pattern" OR "design pattern“ OR anti-pattern OR recipe OR workflow OR
practice OR issue OR template)
"machine implementation pattern" OR "architecture pattern" OR "design pattern“ OR anti-
pattern OR recipe OR workflow OR practice OR issue OR template
Engineering Village
Google

5. 文書の時系列の傾向
5
0
1
2
3
4
5
6
7
8
9
10
2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019
Scholarly
Additional
Gray

6. 6
s1 Developing machine learning products better
and faster at startups
s2 Hidden technical debt in machine learning
systems
s3 Machine learning at facebook: Understanding
inference at the edge
s4 Continuous integration of machine learning
models with ease.ml/ci: Towards a rigorous yet
practical treatment
s5 Uncertainty in machine learning applications: A
practice-driven classification of uncertainty
s6 Software architecture of a learning apprentice
system in medical billing
s7 Cleartk 2.0: Design patterns for machine
learning in UIMA
s8 Solution patterns for machine learning
s9 A survey on security threats and defensive
techniques of machine learning: A data driven
view
s10 Machine learning system architectural pattern
for improving operational stability
a1 Trials and tribulations of developers of
intelligent systems: A field study
a2 A methodology to involve domain experts
and machine learning techniques in the
design of human-centered algorithms
a3 Scaling distributed machine learning with the
parameter server
a4 Machine learning software engineering in
practice: An industrial case study
a5 Software engineering for machine learning: a
case study
a6 Integrated machine learning in the kepler
scientific workflow system
a7 Deep convolutional neural network design
patterns
a8 Practical Machine Learning
a9 Stream Analytics with Microsoft Azure: Real-
time data processing for quick insights using
Azure Stream Analytics

7. 7
g1 Scaling machine learning at uber with
michelangelo
g2 Federated learning: Collaborative machine
learning without centralized training data
g3 Design patterns for deep learning
g4 Design patterns for machine learning in
production
g5 Patterns (and anti-patterns) for developing
machine learning systems
g6 The mvc for machine learning: Datamodel-
learner (dml)
g7 Rules of machine learning: Best practices for
ml engineering
g8 A design pattern for machine learning with
scala, spray and spark
g9 Closed-loop intelligence: A design pattern for
machine learning
g10 A design pattern for explainability and
reproducibility in production ml
g11 Top trends: Machine learning,
microservices, containers, kubernetes,
cloud to edge. what are they and how do
they fit together?
g12 Daisy architecture
g13 Event-driven architecture
g14 Demystifying data lake architecture
g15 Exploring development patterns in data
science
g16 Architecture of data lake
g17 From insights to value - building a modern
logical data lake to drive user adoption and
business value
g18 Lambda architecture pattern
g19 Busting event-driven myths

8. RQ3. MLアーキテクチャ・デザインパターン
はどのように分類できるか？
• 方法: 様々な代表的プロセスの検討
• 結果: MLパイプラインプロセスおよびISO/IEC 12207:2008ソフ
トウェアライフサイクルプロセスによる分類
8
MLパイプラインプロセス (Microsoft)
S. Amershi, et al., “Software engineering for machine learning: a case study,” 41st International
Conference on Software Engineering: Software Engineering in Practice, ICSE (SEIP) 2019
Requirements
Analysis
Architectural
Design
Detailed
Design
Construction
Integration
Qualification
Testing
Software Implementation Process (ISO/IEC 12207:2008)

9. RQ4. MLアーキテクチャ・デザインパターン
にはどのようなものがあるか？
• 方法: 文献からのパターン抽出およびプロセス上での分類
• 結果: 33のパターンを抽出、データ・フィーチャ系のパターン未特定
– 主にアーキテクチャパターン22、主にデザインパターン3
– アンチパターン8
9

10. 10
a04
Separation of Concerns and
Modularization of ML Components
g02aFederated Learning
g05 Handshake or Hand Buzzer
g07a
Test the infrastructure independently
from the machine learning
g07b
Reuse Code between Training
Pipeline and Serving Pipeline
g08 Data-Algorithm-Serving-Evaluator
g09 Closed-Loop Intelligence
g10 Canary Model
g12 Daisy Architecture
g13 Event-driven ML Microservices
g15bMicroservice Architecture
g16 Data Lake
g17 Kappa Architecture
g18 Lambda Architecture
s02d
Design Holistically about Data
Collection and Feature Extraction
s02f
Reexamine Experimental Branches
Periodically
s02h Parameter-Server Abstraction
s02j Descriptive Data Type for Rich Information
s03a
Decouple Training Pipeline from
Production Pipeline
s03b ML Versioning pattern
s10a Distinguish Business Logic from ML Models
s10b Gateway Routing Architecture
MLアーキテクチャパターン MLアーキテクチャパターン
s05 Isolate and Validate Output of Model
s02b
Wrap Black-Box Packages into
Common APIs
g02bSecure Aggregation
MLデザインパターン
s02l Undeclared Consumers
s02k Multiple-Language Smell
s02i Plain-Old-Data Type Smell
s02g Abstraction Debt
s02e Dead Experimental Codepaths
s02c Pipeline Jungles
s02a Glue Code
g15a Big Ass Script Architecture
MLアンチパターン

11. a04. Separation of Concerns and
Modularization of ML Components
ML構成要素群における関心事の
分離およびモジュール化
• 問題: 要求やデータの変化に応じてML構成
要素群は、他のシステム構成要素よりも変わ
りやすい。
• 解決: ML構成要素群においてモジュール化を
進めて、関心事の分離および再利用しやすく
する。
11

12. g02a. Federated Learning フェデ
レーテッドラーニング
• 問題: 標準的な機械学習においては、単一個
所でまとまって訓練しなければならない。
• 解決: 携帯端末群で協調的に訓練しつつ、デ
ータは個別に持つ。
12

13. g02b. Secure Aggregation セキュア
な集約
• （フェデレーテッドラーニングにおける各携帯
端末からの）各データを暗号化しクラウド上で
個別吟味なしに合計や平均を算出
13

14. g05. Handshake or Hand Buzzer ハ
ンドシェイク・ハンドブザー
• 問題: 外部からの入力に依存している。
• 解決: 入力・バージョンと紐づけられたハンド
シェイクプロセスを標準化しておく。入力側に
ついて定期的にチェックし、重大な変更があ
れば警告を出す。
14

15. g07a. Test the infrastructure
independently from the machine
learning 機械学習部分とは独立し
てインフラをテスト
• 問題: インフラと機械学習が混ざった形では
誤りを特定しにくい。
• 解決: データ取得等のインフラ部分と機械学
習・訓練部分を分離して、独立にテスト可能と
する。
15

16. g07b. Reuse Code between
Training Pipeline and Serving
Pipeline 訓練パイプラインと（オン
ライン）推論パイプラインにおける
再利用
• 共通のプログラミング言語を用い、特に、人
が理解可能な形で結果を蓄えるオブジェクト
を用意することで、訓練パイプラインと（オンラ
イン）推論パイプラインとで再利用する。
16

17. g08. Data-Algorithm-Serving-
Evaluator データ・アルゴリズム・
（オンライン）推論・評価
• 機械学習のMVCとして次を分離する: データ、
アルゴリズム、（オンライン）推論、評価
17

18. g09. Closed-Loop Intelligence 閉
ループ知能
• 機械学習を利用者（による利用）につなげて
ループを閉じる。そのための明快なインタラク
ション、暗黙かつ直接的な出力を設計する。
18

19. g10. Canary Model カナリアモデル
• 説明性の高いカナリアモデルのパイプライン
を主の推論パイプラインと同時並行に動かし
て、予測の違いをモニタリングする。
19

20. g12. Daisy Architecture デイジー
アーキテクチャ
• かんばん、スケーリング、マイクロサービスの活
用による、メディアコンテント処理にあたってのプ
ル型、自動、オンデマンド・イテラティブの実現。
20

21. g11. Event-driven ML
Microservices イベント駆動MLマイ
クロサービス
• マイクロサービスの組み合わせとして柔軟な
データストリームからMLモデル、結果の提供
までを構成する
21

22. g15b. Microservice Architecture マ
イクロサービスアーキテクチャ
• データサイエンスを、再利用可能なマイクロ
サービスAPI群の提供と利用により実現する。
22

23. g16. Data Lake データレイク
• 構造化データと非構造化データを保存できる
一元化されたリポジトリを用意する。
23
https://it.impressbm.co.jp/articles/-/16979

24. g17. Kappa Architecture カッパアー
キテクチャ
• データをストリームとして処理する。リアルタイ
ムのデータ処理と連続的な再処理の両方に
単一のストリーム処理エンジンで対応する。
24
https://jp.talend.com/blog/2017/08/28/lambda-kappa-real-time-big-data-architectures/

25. g18. Lambda Architecture ラムダ
アーキテクチャ
• リアルタイム分析と過去データ分析を両立す
る。
25
Data
Stream
Query &
Reporting
Master
Dataset
Pre-
Computing
Batch
Views
バッチレイヤ サービスレイヤ
スピードレイヤ
Real-time
Views

26. s02d. Design Holistically about
Data Collection and Feature
Extractionデータ取集とフィーチャ
抽出を全体的に設計
• データ取集とフィーチャ抽出を全体的に設計
しパイプラインジャングルを解消する。
26

27. s02f. Reexamine Experimental
Branches Periodically 実験的分岐
の定期的な再点検
• コード中の実験のための条件分岐・パスを定
期的に見直すことで、グルーコードやパイプラ
インジャングルを解消する。
27

28. s02h. Parameter-Server
Abstraction パラメータサーバ
• パラメータサーバを通じた分散機械学習
28

29. s02j. Descriptive Data Type for Rich
Information 説明的データ型の利
用
• もともとリッチな情報・パラメータについて、意
味が分かるようにする。
29

30. s03a. Decouple Training Pipeline
from Production Pipeline プロダク
ションパイプラインからの訓練パイ
プラインの分離
30

31. s03b. ML Versioning pattern ML
バージョニング
• 異なるML推論エンジンのバージョンを管理す
る。
31

32. s10a. Distinguish Business Logic
from ML Models MLモデルからの
ビジネスロジックの切り分け
32

33. s10b. Gateway Routing
Architecture ゲートウェイルーティ
ング
33

34. s05. Isolate and Validate Output of
Model モデル出力の隔離と妥当
性確認
34

35. s02b. Wrap Black-Box Packages
into Common APIs ブラックボック
スなパッケージの共通API化
• 汎用的ブラックボックスなパッケージの共通
API化を通じたグルーコードの解消
35

36. まとめと展望
• RQ1. MLシステム（MLS）の設計におけるパターンはほ
とんど知られていないか、活用されていない。
• RQ2. 数多くの学術論文や技術文書がMLSの設計パタ
ーンやプラクティスを扱っている。
• RQ3. MLアーキテクチャ・デザインパターンは、 MLパイ
プラインプロセスおよびISO/IEC 12207ソフトウェアライ
フサイクルプロセスにより分類できる。
• RQ4. 33のMLアーキテクチャ・デザインパターンを抽出
した。
• 展望
– 各パターンの評価、検証
– パターン間の関係整理: 類似、汎化・特化、関連
– 新たなパターンの特定、拡充
44