Azure machine learning service 最新の機械学習プラットフォーム
•
4 j'aime•1,530 vues
クラウドベースのオープンな機械学習プラットフォームである Azure Machine Learning service ご紹介スライド
Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à Azure machine learning service 最新の機械学習プラットフォーム
Similaire à Azure machine learning service 最新の機械学習プラットフォーム (20)
Plus de Keita Onabuta
Plus de Keita Onabuta (8)
Azure machine learning service 最新の機械学習プラットフォーム
- 1. Azure Machine Learning service ⼥部⽥啓太 ⽇本マイクロソフト株式会社 Advanced Analytics & AI Technical Solution Professional https://github.com/konabuta https://www.linkedin.com/in/ keita-onabuta/
- 4. Experiment Deploy & Monitor Platform Prepare
- 6. • スキル (AIの⺠主化)、 開発環境、 アルゴリズム、 OSS連携 • スケーラブルな学習 & 推論環境、 シームレスなデプロイ • 資産管理 (コード/モデル/データ)、 アプリ連携、 再学習• あ
- 7. スキル (AIの⺠主化)、 開発環境、 アルゴリズム、 OSS連携
- 8. New Update !
- 11. Preview
- 12. Azure ML Python SDK ü Prepare Data ü Build Models ü Train Models ü Manage Models ü Track Experiments ü Deploy Models カバー範囲
- 14. Azure Notebook Visual Studio Code Jupyter Notebook Databricks Notebook PyCharmNotebook VM Preview Preview
- 15. MLflow 連携 ONNX Runtime updates Azure Open Datasets
- 16. メトリック記録 (コード、データ、パラメータetc) runの⽐較 実験の再現 (git, Anaconda) リモート実⾏ API & バッチ推論 Azure ML への展開 ユーザ定義関数 ・・・ ・・・ ・・・ 詳細はこちら！ https://mlflow.org/
- 18. Partners
- 19. Extensible Extensible architecture to plug-in optimizers and hardware accelerators Flexible Supports full ONNX-ML spec (v1.2-1.5) C#, C, and Python APIs Cross Platform Works on -Mac, Windows, Linux -x86, x64, ARM Also built-in to Windows 10 natively (WinML) github.com/microsoft/onnxruntime
- 21. データ探索 変数の重要度 各予測値に対する説明 サマリー Preview 要因探索、与信管理などの業務では ブラックボックスなモデルは使えない... https://docs.microsoft.com/en- US/azure/machine-learning/service/machine- learning-interpretability-explainability Model interpretability with Azure Machine Learning service
- 22. スケーラブルな学習 & 推論環境、 シームレスなデプロイ
- 23. • 様々なスペックのVMを選択・起動 • ⾃動スケールアウト・ダウン • ジョブ管理、スケジュール管理 学習コード train train train ジョブ・スケジュール管理 • ⾃動でライブラリ・データを準備 ・・・ Machine Learning Compute • 低優先度オプション : 80% 割引で利⽤可能
- 25. Worker 1 Worker 2 Worker 3 Worker 4 パラメータ#1 パラメータ#2 0.71精度 0.98 0.83 0.79 Best !
- 26. Model 推論⽤ Docker イメージ 推論スクリプト.py Pythonパッケージ情報.yml (conda, pip) Python SDK or GUIで操作可能 Dockerの知識がなくても、 簡単に作成可能！
- 28. Azure Container Instance (ACI) Azure Kubernetes Service (AKS) テスト⽤途 ⾼速スタートアップ 本番⽤途 ⾃動スケールアウト エッジデバイスで動作 Azure IoT Hub 連携 Azure IoT Edge
- 29. FPGAs Specialized, hardware-accelerated, deep learning Deploy with Azure Machine Learning ⼀般提供開始！
- 30. Windows Machine Learning は、 Windows 10 での推論を実現 ドキュメント https://docs.microsoft.com/en-us/windows/ai/ GitHub に公開されているサンプル https://github.com/Microsoft/Windows-Machine-Learning 事前学習済みの ONNX ファイル Azure AI Gallery (https://gallery.azure.ai/models) ONNX Model Zoo(https://github.com/onnx/models) 独⾃のデータを使って学習済みモデルを構築 Machine Learning service / Custom Vision
- 31. 資産管理 (コード/モデル/データ)、 アプリ連携、 再学習
- 32. Train Model Validate Model Deploy ModelPackage Model Monitor Model Retrain Model
- 36. Datasets from azureml.core import Dataset dataset = Dataset.auto_read_files('./data/crime.csv') Data Preparation Snapshot Version & Definition Lifecycle • プロファイリング • 読み込み • 変換 • 書き出し Active, Deprecate, Archive, Reactivate Preview データ定義のバージョン管理 データをスナップショットで保存管理
- 37. Model Azure ML Custom Vision 外部環境 • バージョン管理 • タグ付け Azure Machine Learning で作成したモデルだけでなく、 外部で作ったモデルも⼀元管理が可能
- 38. MLOps = DevOps for AI ML コード統合 データ、コードのテスト モデル開発 モデルのパッケージ化 複数環境へデプロイ データ、モデルの監視 モデル再学習・引退 Infrastructure as Code (IaS) データ準備・加⼯ （実験的な）モデル開発
- 41. Model reproducibility Model retrainingModel deploymentModel validation Build appCollaborate Test app Release app Monitor app App developer using Azure DevOps Data scientist using Azure Machine Learning
- 42. Model reproducibility Model retrainingModel deploymentModel validation Build appCollaborate Test app Release app Monitor app App developer using Azure DevOps Data scientist using Azure Machine Learning Code, dataset, and environment versioning
- 43. Model reproducibility Model retrainingModel deploymentModel validation Train model Build appCollaborate Test app Release app Monitor app App developer using Azure DevOps Data scientist using Azure Machine Learning Automated ML ML Pipelines Hyper parameter tuning
- 44. Model reproducibility Model retrainingModel deploymentModel validation Train model Validate model Build appCollaborate Test app Release app Monitor app App developer using Azure DevOps Data scientist using Azure Machine Learning Model validation & profiling
- 45. Model reproducibility Model retrainingModel deploymentModel validation Train model Validate model Deploy model Build appCollaborate Test app Release app Monitor app App developer using Azure DevOps Data scientist using Azure Machine Learning Model packaging & Simple deployment across cloud and edge
- 46. Model reproducibility Model retrainingModel deploymentModel validation Train model Validate model Deploy model Monitor model Retrain model Build appCollaborate Test app Release app Monitor app App developer using Azure DevOps Data scientist using Azure Machine Learning Model management & monitoring Model performance analysis
- 47. Model reproducibility Model retrainingModel deploymentModel validation Train model Validate model Deploy model Monitor model Build appCollaborate Test app Release app Monitor app App developer using Azure DevOps Data scientist using Azure Machine Learning Retrain model Azure Machine Learning extension for Azure DevOps
- 48. profile = model.profile(ws, "profilename", [model], inference_config, test_sample) profile.wait_for_profiling(True) profiling_results = profile.get_results() print(profiling_results) Creating image Image creation operation finished for image profilename:2, operation "Succeeded" Running.......................................................................................................................................................................................... .......................................................................................................................... Succeeded {'cpu': 0.5, 'memoryInGB': 0.5}
- 49. ⼊⼒データ 予測値運⽤中モデル ⼊⼒データ & 予測値 を保存してくれる テレメトリーデータ の取得
- 52. Orchestration Services Monitoring Real-Time Azure Kubernetes Service ML Data Drift Experimentation Monitoring Batch Azure ML Compute Inference Monitoring Compute Azure DevOps ML Extension Storage Model Packaging Model Validation Run History Model Deployment Asset Management Environments Code Datasets ML Audit Trail Training Services Edge Azure IoT Hub
- 56. https://www.kaggle.com/ajay1735/hmeq-data HMEQ : 住宅ローン履⾏/不履⾏の履歴データ 件数：5961レコード 項⽬ - 説明変数 : 12 - ⽬的変数 : 1 (BAD)
- 57. Long Short Term Memory (LSTM) 予測値 50サイクル分の 時系列データ 出⼒ 正解値 学習
- 58. RULope1 s1 s2 s21ope3… … 169 168 0 1 2 167 cycle 0 1 2 … 167 168 169 Window Size = 50 50サイクル分の時系列を考慮する学習データを作成 50 25 49 … 120 あと何⽇使える？
- 61. プロジェクト統合 / 再学習 継続的インテグレーション(CI) 継続的 デリバリー (CD) モニタリング デプロイ テレメトリー 再実験 メンテナンス 再学習トリガー
- 62. プロジェクト統合 / 再学習 デプロイ テレメトリー 再実験 メンテナンス 再学習トリガー モデル登録 モデル学習 モデル検証 データ分布⽐較
- 63. • クラウドベースの機械学習・深層学習プラットフォームとして、 Azure Machine Learning service が誕⽣ • 複雑になりがちな機械学習プロセスを効率的に 回していくことができる仕組みをご提供 • 3つの特徴をご紹介 • オープンプラットフォームによる⽣産性の向上 • パワフル & マネージドなインフラ環境 • エンドーツーエンドのMLライフサイクル管理
- 66. https://www.azuredevopslabs.com/labs/vstsextend/aml/ Enabling CI/CD for Machine Learning project with Azure Pipelines
- 68. MICROSOFT CONFIDENTIAL 本資料は情報提供のみを⽬的としており、本資料に記載されている情報は、本資料作成時点でのマイクロソフトの⾒解を⽰し たものです。状況等の変化により、内容は変更される場合があります。本資料に表記されている内容（提⽰されている条件等 を含みます）は、貴社との有効な契約を通じて決定されます。それまでは、正式に確定するものではありません。従って、本資 料の記載内容とは異なる場合があります。また、本資料に記載されている価格はいずれも、別段の表記がない限り、参考価 格となります。貴社の最終的な購⼊価格は、貴社のリセラー様により決定されます。マイクロソフトは、本資料の情報に対して 明⽰的、黙⽰的または法的な、いかなる保証も⾏いません。 © 2019 Microsoft Corporation. All rights reserved.