ML基盤メタサーベイ cvpaper.challenge #meta-study-group勉強会(2019/03/15)
•
3 j'aime•3,062 vues
2019/03/15に行われたcvpaper.challengeのmeta-study-group勉強会で(聴講費代わりに)発表した資料です。 CVの話題とほとんど関係ないですし、海外論文のサーベイが不十分でメタな部分にあまり触れられず、結果的に誰に需要があるのか分からないN番煎じのまとめになりました。
Recommandé
Recommandé
Contenu connexe
Similaire à ML基盤メタサーベイ cvpaper.challenge #meta-study-group勉強会(2019/03/15)
Similaire à ML基盤メタサーベイ cvpaper.challenge #meta-study-group勉強会(2019/03/15) (20)
ML基盤メタサーベイ cvpaper.challenge #meta-study-group勉強会(2019/03/15)
- 2. 発表概要 • 機械学習(ML)基盤の説明を行なう • ML基盤がない場合のMLシステム開発の困難さ を説明した論文の紹介 • リサーチの強い所のML基盤はどのようになっ ているかを調査 2
- 3. アウトライン 1. 自己紹介(資料では割愛) 2. 機械学習基盤とは 3. 論文紹介 “Hidden technical debt in machine learning systems” 4. 世界の強い研究機関のML基盤(メタ) ふろく: ML基盤、システムに関する知識収集の ための情報源 3
- 4. ML基盤とは 4
- 7. ML基盤が提供する機能の例 • MLジョブ(学習/推論)のスケジューリング • コードバージョン管理 • データの管理/監視 • 入力データ、特徴量 • MLモデル • パラメータ • 何らかのタスクの結果(精度評価、モデル学習状況) • GPUリソースの管理/監視 • データ分析 • コンテナの管理 • CI/CD • ロギング • ・・・など。 7
- 8. その他見かけた言葉 • MLシステム • ML技術を組み込んだシステム • ML基盤と同じ意味で使われていることもある • MLプラットフォーム • Facebook社でいうところのML基盤 • Facebook社においては基盤はハードウェアを指す 8https://www.slideshare.net/KarthikMurugesan2/facebook-machine- learning-infrastructure-2018-slides
- 9. なぜML基盤は必要なの? • MLシステムとして動かす場合、外部環境の変 化に適応させるために、MLモデルを継続的に 更新していく必要があるため • 外部環境から取得するデータの質と量は絶えず 変わっていく • e.g. 道路上の人物検出システムがあったとして、 • 道路を利用する人の質(性別、年代など)が変わっていくかも しれない • システム稼働に伴って、人の画像データが増えていく • できるだけ、データの管理やモデルの更新を 自動化する仕組みがあったほうがよい 9
- 10. [補足]MLの基礎研究 • ある研究課題に関して、新規性のある手法を 考えて論文を出すのが目標 • データは固定 • MS COCO, pascal VOCなど... • 有用性を主張できる精度が出るモデル、コンフィ グ(ハイパパラメータ等)、コードが生み出せた時点 で改善活動は一旦終了 • 継続的なモデル更新はほぼ必要がない 10MLモデル ソース コード コンフィグ ファイル 成果物
- 11. 論文紹介 “Hidden technical debt in machine learning systems” D. Sculley+(Google, Inc.) NIPS2015 11 https://papers.nips.cc/paper/5656-hidden-technical-debt-in-machine-learning-systems.pdf ※もともとNIPS2014 Workshop(https://ai.google/research/pubs/pub43146))で出していた内容 に加筆したもの
- 12. Hidden technical debt in machine learning systems • MLシステムの開発・運用の難しさの原因を 分析した論文の先駆け的存在 • 内容 • 強力なMLシステムの開発をスピーディに行うことでメ リットを短期的に得られるが、その裏で(ML固有の) 技術的負債を溜めていることを主張 • 後々メンテナンスが困難になる • MLシステムにはどういう技術的負債があって、 どう避ける・返済するべきかの方法論が書かれている • MLシステム開発で遭遇しそうな負債の所を中心 にピックアップする 12
- 13. Entanglement(絡み合い) • 一般的なソフトウェア開発ではモジュールの 切り分けが行われ、他方の変更に独立な開発が 行われる • 一方、MLは前後の入出力が絡み合っており、 モデルの独立な改善が不可能 • MLはモデル部分の微かな変更(たとえば入力特徴を 1つ増やす)でも、前処理の部分のコードや、特徴抽 出のコードを変更する必要がある • システムを世に出した直後は精度はよくても、 いずれはモデルの改善が必要になる。 その時に負債を返すハメに・・・ 13
- 14. 不安定なデータ依存性: モデルの依存性の例 • あるモデルAをもつモジュールの出力が、別の モデルBの特徴量データになっている時、 モデルAに変更が加わると、モデルBの 振る舞いが変わってしまう • レジに並んでいる人の数を物体検出モデルAで カウントして、そこから将来の混雑度を推定する モデルBなど • モデルAの変更にしたがって、モデルBも学習し直し 14 モデルA モデルB推論 推論
- 15. 大量のグルーコード • システムで特定のMLライブラリを使おうとし たために、大量のグルーコードが必要に • 当時はpythonバインディングが充実していなかった 15 データ検証 データ抽出MLの 設定 特徴抽出 計算資源管理 インフラ 整備 システムの 監視 分析ツール プロセス 管理ツール
- 16. パイプラインジャングル • データ群の前処理において、データの分岐や 結合が入り乱れていて把握し辛い状態 • → 複雑になってきたら特徴抽出のプロセスを 再設計すべき 16
- 18. 複数のMLジョブの管理 • 数十から数百のモデルがことなるコンフィグで 同時に実行される可能性がある • 下記のような機能が必要 • ジョブ実行の優先順位決め • 計算資源のリソース管理およびジョブを割り当てる 方法 • 途中で障害が発生した時の復旧を支援 18
- 19. 論文まとめ • MLシステム開発において、技術的負債に なりやすい箇所の説明を行った • 論文ではさらに多くの種類の技術的負債が説明 されている • 負債をなるべく溜めないようなMLシステムを 開発するためにも、ML基盤は必要 19
- 21. GAFAM,PFNを調べる • Facebook, AppleのみML基盤の論文を発見 • PFNもスライドがあったので調査 • Google, Amazon, MSは事例が見つからなかった (サービスの紹介が出てきてしまう)ので割愛 • 上3社と同様かそれ以上のことは行われているだろう 21
- 22. Facebook Applied Machine Learning at Facebook: A Datacenter Infrastructure Perspective[Kim+ 2018] (https://research.fb.com/wp-content/uploads/2017/12/hpca-2018-facebook.pdf) • “FB Learner Platform”というML基盤を持っている • 10か所のデータセンター • 分散学習 • 数百TBのデータを並列で学習 • 1回の学習でGPU 256コア以上使用 22 Facebook ML Infrastructure - 2018 slides https://www.slideshare.net/KarthikMurugesan2/facebook-machine-learning-infrastructure-2018-slides
- 23. 23 Facebook Applied Machine Learning at Facebook: A Datacenter Infrastructure Perspective[Kim+ 2018] (https://research.fb.com/wp-content/uploads/2017/12/hpca-2018-facebook.pdf) • 基盤の上でFBサービスを動かしている Facebook ML Infrastructure - 2018 slides https://www.slideshare.net/KarthikMurugesan2/facebook-machine-learning-infrastructure-2018-slides
- 24. Apple DEMOCRATIZING PRODUCTION-SCALE DISTRIBUTED DEEP LEARNING[Ma + 2018](https://arxiv.org/abs/1811.00143) • “Alchemist”というML基盤を持っている • 計算機クラスタにおける計算ジョブスケジューリン グは、Kubernetesによって管理 • 次のような特徴 • ユーザは分散学習を意識させずにモデル学習できる • データセンターとクラウド間の移植が可能 • 学習状況や計算リソースの監視 • MLのフレームワークによらず、 利用可能 • 24
- 25. PFN “20180723 PFNの研究基盤 ”(https://www.slideshare.net/pfi/20180723-pfn-pfn-research-system- infrastructure) • Tesla P100が1024枚のGPUクラスタ • さらに増設予定とのこと • KubernetesでMLジョブのスケジューリング 25
- 26. [備考]Microsoft Making Contextual Decisions with Low Technical Debt [Agarwal+2017](https://arxiv.org/pdf/1606.03966.pdf) • “Decision Service”というシステムを開発 • contextual banditsアルゴリズムのような 強化学習アルゴリズム用 26
- 27. 強い研究機関のML基盤の特徴 • 自前のデータセンター、GPUクラスタを保有 • 分散コンピューティングによる学習の高速化 • 利用者に意識させない仕組みができている • 影に、MLシステム用の設計技術に長けたインフラ エンジニアの存在 27
- 28. 参考文献 • Hidden technical debt in machine learning systems（日 本語資料） • https://www.slideshare.net/Gushi/hidden-technical-debt-in- machine-learning-systems • 機械学習システムにおける「技術的負債」とその 回避策 • https://qiita.com/fujit33/items/f58055667493ae79e2dd • 機械学習：技術的負債の高金利クレジットカード • http://englishforhackers.com/machine-learning-technical- debt.html • 機械学習ソフトウェアにおける技術的負債 • http://research.nii.ac.jp/~f-ishikawa/work/files/1506- MLdebt.pdf 28
- 29. 参考文献 • 機械学習基盤まわりの勉強をしたときに参考に させていただいた記事[約20選]（2018.12時点） • https://qiita.com/noko_qii/items/f31901817dbed86f2b 25 • 推論のための機械学習基盤を本番稼働させる際 に気をつけるn個のこと • https://qiita.com/shogomuranushi/items/6af61b9f24d5 9eee9606 • 機械学習基盤を一人で構築するということ / Hitori ml team • https://speakerdeck.com/yukiyan/hitori-ml-team 29
- 30. 参考文献 • Apache Airflowでエンドユーザーのための機械 学習パイプラインを構築する • Part0(2019/03/01): https://link.medium.com/FLb6IM4gHU • Part1(2019/03/05): https://link.medium.com/tytMAqzgPU 30
- 32. 研究機関・組織 • 石川冬樹先生(NII) • http://research.nii.ac.jp/~f-ishikawa/index.html • MLシステムの品質保証に関するご発表多数 • 機械学習工学研究会(MLSE) • https://sites.google.com/view/sig-mlse • 昨年発足 • 機械学習システムの開発・テスト・運用の方法論を 議論・情報交換する場 32
- 33. 国内のML基盤 事例集 Web系、ベンチャー企業が率先して 具体的な構成例を公開している印象 • リブセンス • Kubernetes を利用したコンテナベース機械学習基盤の構築 (2018/01/18) • https://analytics.livesense.co.jp/entry/2018/01/18/090000 • クックパッド • クックパッドの機械学習基盤 2018 / Machine Learning Platform at Cookpad ~ 2018 ~(2018/02/21) • https://speakerdeck.com/ayemos/machine-learning-platform-at-cookpad-2018 • リクルートテクノロジーズ • ゼクシィ恋結びに実装 検索基盤と機械学習を併用した自動応答システ ムの紹介(2018/03/22) • https://recruit-tech.co.jp/blog/2018/03/22/chatbot_bazz/ • キスモ • 開発を爆速にするキスモの機械学習基盤(2018/05/22) • http://kysmo.hatenablog.jp/entry/2018/05/22/111111 • メルカリ • Mercari ML Ops Night Vol.1 を開催しました(2018/05/29) • https://tech.mercari.com/entry/mercari-mlopsnight-1 33
- 34. 国内のML基盤 事例集 • ビズリーチ • ALICE: AI Lab Interfaced with Configurable Environment(2019/01/18) • https://speakerdeck.com/tahiro/alice-ai-lab-interfaced-with-configurable-environment • はてな • 機械学習を活用したサービスにおける工夫紹介(2019/01/30) • https://www.slideshare.net/syou6162/ss-129831857?ref=https://buildersbox.corp- sansan.com/entry/2019/02/19/110000 • mixi • SageMakerを用いた高速な顔検出(2019/02/14) • https://speakerdeck.com/raobystorm/sagemaker-s3fd-face-detector • 富士通研究所 • Kubernetesで機械学習基盤を構築した話(2019/02/19) • https://speakerdeck.com/kuromt/k8s-ml-platform • SmartNews • Data Engineering at SmartNews(2019/03/08) • https://speakerdeck.com/satoshihirose/data-engineering-at-smartnews 34
- 35. ML基盤関係の話が出る勉強会 • Machine Learning Casual Talks • https://mlct.connpass.com/ • Data Driven Developer Meetup • https://d3m.connpass.com/ • Data Pipeline Casual Talk • https://dpct.connpass.com/ • Data Engineering 周辺を考える会 • https://data-engineering.connpass.com/ • ・・など。 • その他、DockerやKubernetes関連の勉強会でML基盤関係 の話があることもある 35
- 36. ML基盤関連の書籍 • 洋書 • Machine Learning Systems: Designs that scale • Jeff Smith著 • Manning Publications社が2018年5月に出版 • 中身は未確認だが、目次を見るに基盤の話がありそう • 和書 • 見つからなかった • MLが絡む案件に関するヒアリング、要件定義、PoCの 進め方に関してはいくつかあった。 36