Soumettre la recherche
Mettre en ligne
AWS Step FunctionとLambdaでディープラーニングの訓練を全自動化する
•
Télécharger en tant que PPTX, PDF
•
10 j'aime
•
29,459 vues
M
mizugokoro
Suivre
Automated deep learning training with AWS Step Functions and AWS Lambda.
Lire moins
Lire la suite
Technologie
Signaler
Partager
Signaler
Partager
1 sur 25
Télécharger maintenant
Recommandé
サーバーレスの今とこれから
サーバーレスの今とこれから
真吾 吉田
Scalaプロダクトのビルド高速化
Scalaプロダクトのビルド高速化
kuro kuro
実践サーバレスアーキテクチャ
実践サーバレスアーキテクチャ
太郎 test
VRディープ座談会 introduction ojima
VRディープ座談会 introduction ojima
Hideki Ojima
ディープラーニングをAWS LambdaとStep Functionで自動化する
ディープラーニングをAWS LambdaとStep Functionで自動化する
Keita Shimizu
Serverless Framework 使ってる話(node.js)
Serverless Framework 使ってる話(node.js)
Naoto Teruya
Serverless Ninja Warriors [panel]
Serverless Ninja Warriors [panel]
真吾 吉田
DevOpsとか言う前にAWSエンジニアに知ってほしいアプリケーションのこと
DevOpsとか言う前にAWSエンジニアに知ってほしいアプリケーションのこと
Terui Masashi
Recommandé
サーバーレスの今とこれから
サーバーレスの今とこれから
真吾 吉田
Scalaプロダクトのビルド高速化
Scalaプロダクトのビルド高速化
kuro kuro
実践サーバレスアーキテクチャ
実践サーバレスアーキテクチャ
太郎 test
VRディープ座談会 introduction ojima
VRディープ座談会 introduction ojima
Hideki Ojima
ディープラーニングをAWS LambdaとStep Functionで自動化する
ディープラーニングをAWS LambdaとStep Functionで自動化する
Keita Shimizu
Serverless Framework 使ってる話(node.js)
Serverless Framework 使ってる話(node.js)
Naoto Teruya
Serverless Ninja Warriors [panel]
Serverless Ninja Warriors [panel]
真吾 吉田
DevOpsとか言う前にAWSエンジニアに知ってほしいアプリケーションのこと
DevOpsとか言う前にAWSエンジニアに知ってほしいアプリケーションのこと
Terui Masashi
サーバーレスでシステムを開発する時に⼤切な事
サーバーレスでシステムを開発する時に⼤切な事
Hiroyuki Hiki
サーバーレスにおける開発プロセス戦略(パネルディスカッション用スライド)
サーバーレスにおける開発プロセス戦略(パネルディスカッション用スライド)
真吾 吉田
Serverless ArchitectureにおけるNoSQL Services 〜DynamoDBも良いけどSimpleDBも忘れないであげてください!!〜
Serverless ArchitectureにおけるNoSQL Services 〜DynamoDBも良いけどSimpleDBも忘れないであげてください!!〜
Terui Masashi
JAWS DAYS 2017 LT 古きを捨て新しきに近づける
JAWS DAYS 2017 LT 古きを捨て新しきに近づける
Tetsuya Mase
Single Command Deployのための gradle-aws-plugin講座
Single Command Deployのための gradle-aws-plugin講座
都元ダイスケ Miyamoto
ヘッドレスCMSとサーバーレス
ヘッドレスCMSとサーバーレス
真吾 吉田
MySQL→Aurora移行セミナー
MySQL→Aurora移行セミナー
真吾 吉田
Jaws days2017-ops jaws-2
Jaws days2017-ops jaws-2
Serverworks Co.,Ltd.
今なぜサーバーレスなのか
今なぜサーバーレスなのか
真吾 吉田
JAWS DAYS 2017 Mafia Talk
JAWS DAYS 2017 Mafia Talk
真吾 吉田
実務で活かせる AWSアーキテクチャ設計 〜AWS re:Invent 2016アップデート最新版〜
実務で活かせる AWSアーキテクチャ設計 〜AWS re:Invent 2016アップデート最新版〜
真吾 吉田
APIを叩くだけでない、Deep Learning on AWS で自分だけの学習モデルを作ろう! by JAWS-UG AI支部
APIを叩くだけでない、Deep Learning on AWS で自分だけの学習モデルを作ろう! by JAWS-UG AI支部
Daisuke Nagao
サーバーレス・アーキテクチャ概要
サーバーレス・アーキテクチャ概要
真吾 吉田
AWS SAMで始めるサーバーレスアプリケーション開発
AWS SAMで始めるサーバーレスアプリケーション開発
真吾 吉田
AWSでアプリ開発するなら 知っておくべこと
AWSでアプリ開発するなら 知っておくべこと
Keisuke Nishitani
Azure Load Testingを試してみた
Azure Load Testingを試してみた
Hiroyuki Mori
アプリエンジニアからクラウド専用のインフラエンジニアになってみて
アプリエンジニアからクラウド専用のインフラエンジニアになってみて
Sato Shun
The Internal of Serverless Plugins
The Internal of Serverless Plugins
Terui Masashi
Serverless Meetup Tokyo #1 オープニング
Serverless Meetup Tokyo #1 オープニング
真吾 吉田
AWS Lambda + Python資料 ver0.94 20160825
AWS Lambda + Python資料 ver0.94 20160825
Yasuharu Suzuki
20170210 jawsug横浜(AWSタグ)
20170210 jawsug横浜(AWSタグ)
Toshihiro Setojima
サーバーレスのアーキテクチャパターンとそれぞれの実装・テストの勘所
サーバーレスのアーキテクチャパターンとそれぞれの実装・テストの勘所
真吾 吉田
Contenu connexe
Tendances
サーバーレスでシステムを開発する時に⼤切な事
サーバーレスでシステムを開発する時に⼤切な事
Hiroyuki Hiki
サーバーレスにおける開発プロセス戦略(パネルディスカッション用スライド)
サーバーレスにおける開発プロセス戦略(パネルディスカッション用スライド)
真吾 吉田
Serverless ArchitectureにおけるNoSQL Services 〜DynamoDBも良いけどSimpleDBも忘れないであげてください!!〜
Serverless ArchitectureにおけるNoSQL Services 〜DynamoDBも良いけどSimpleDBも忘れないであげてください!!〜
Terui Masashi
JAWS DAYS 2017 LT 古きを捨て新しきに近づける
JAWS DAYS 2017 LT 古きを捨て新しきに近づける
Tetsuya Mase
Single Command Deployのための gradle-aws-plugin講座
Single Command Deployのための gradle-aws-plugin講座
都元ダイスケ Miyamoto
ヘッドレスCMSとサーバーレス
ヘッドレスCMSとサーバーレス
真吾 吉田
MySQL→Aurora移行セミナー
MySQL→Aurora移行セミナー
真吾 吉田
Jaws days2017-ops jaws-2
Jaws days2017-ops jaws-2
Serverworks Co.,Ltd.
今なぜサーバーレスなのか
今なぜサーバーレスなのか
真吾 吉田
JAWS DAYS 2017 Mafia Talk
JAWS DAYS 2017 Mafia Talk
真吾 吉田
実務で活かせる AWSアーキテクチャ設計 〜AWS re:Invent 2016アップデート最新版〜
実務で活かせる AWSアーキテクチャ設計 〜AWS re:Invent 2016アップデート最新版〜
真吾 吉田
APIを叩くだけでない、Deep Learning on AWS で自分だけの学習モデルを作ろう! by JAWS-UG AI支部
APIを叩くだけでない、Deep Learning on AWS で自分だけの学習モデルを作ろう! by JAWS-UG AI支部
Daisuke Nagao
サーバーレス・アーキテクチャ概要
サーバーレス・アーキテクチャ概要
真吾 吉田
AWS SAMで始めるサーバーレスアプリケーション開発
AWS SAMで始めるサーバーレスアプリケーション開発
真吾 吉田
AWSでアプリ開発するなら 知っておくべこと
AWSでアプリ開発するなら 知っておくべこと
Keisuke Nishitani
Azure Load Testingを試してみた
Azure Load Testingを試してみた
Hiroyuki Mori
アプリエンジニアからクラウド専用のインフラエンジニアになってみて
アプリエンジニアからクラウド専用のインフラエンジニアになってみて
Sato Shun
The Internal of Serverless Plugins
The Internal of Serverless Plugins
Terui Masashi
Serverless Meetup Tokyo #1 オープニング
Serverless Meetup Tokyo #1 オープニング
真吾 吉田
AWS Lambda + Python資料 ver0.94 20160825
AWS Lambda + Python資料 ver0.94 20160825
Yasuharu Suzuki
Tendances
(20)
サーバーレスでシステムを開発する時に⼤切な事
サーバーレスでシステムを開発する時に⼤切な事
サーバーレスにおける開発プロセス戦略(パネルディスカッション用スライド)
サーバーレスにおける開発プロセス戦略(パネルディスカッション用スライド)
Serverless ArchitectureにおけるNoSQL Services 〜DynamoDBも良いけどSimpleDBも忘れないであげてください!!〜
Serverless ArchitectureにおけるNoSQL Services 〜DynamoDBも良いけどSimpleDBも忘れないであげてください!!〜
JAWS DAYS 2017 LT 古きを捨て新しきに近づける
JAWS DAYS 2017 LT 古きを捨て新しきに近づける
Single Command Deployのための gradle-aws-plugin講座
Single Command Deployのための gradle-aws-plugin講座
ヘッドレスCMSとサーバーレス
ヘッドレスCMSとサーバーレス
MySQL→Aurora移行セミナー
MySQL→Aurora移行セミナー
Jaws days2017-ops jaws-2
Jaws days2017-ops jaws-2
今なぜサーバーレスなのか
今なぜサーバーレスなのか
JAWS DAYS 2017 Mafia Talk
JAWS DAYS 2017 Mafia Talk
実務で活かせる AWSアーキテクチャ設計 〜AWS re:Invent 2016アップデート最新版〜
実務で活かせる AWSアーキテクチャ設計 〜AWS re:Invent 2016アップデート最新版〜
APIを叩くだけでない、Deep Learning on AWS で自分だけの学習モデルを作ろう! by JAWS-UG AI支部
APIを叩くだけでない、Deep Learning on AWS で自分だけの学習モデルを作ろう! by JAWS-UG AI支部
サーバーレス・アーキテクチャ概要
サーバーレス・アーキテクチャ概要
AWS SAMで始めるサーバーレスアプリケーション開発
AWS SAMで始めるサーバーレスアプリケーション開発
AWSでアプリ開発するなら 知っておくべこと
AWSでアプリ開発するなら 知っておくべこと
Azure Load Testingを試してみた
Azure Load Testingを試してみた
アプリエンジニアからクラウド専用のインフラエンジニアになってみて
アプリエンジニアからクラウド専用のインフラエンジニアになってみて
The Internal of Serverless Plugins
The Internal of Serverless Plugins
Serverless Meetup Tokyo #1 オープニング
Serverless Meetup Tokyo #1 オープニング
AWS Lambda + Python資料 ver0.94 20160825
AWS Lambda + Python資料 ver0.94 20160825
En vedette
20170210 jawsug横浜(AWSタグ)
20170210 jawsug横浜(AWSタグ)
Toshihiro Setojima
サーバーレスのアーキテクチャパターンとそれぞれの実装・テストの勘所
サーバーレスのアーキテクチャパターンとそれぞれの実装・テストの勘所
真吾 吉田
AWS Black Belt Online Seminar 2016 AWS上でのサーバーレスアーキテクチャ入門
AWS Black Belt Online Seminar 2016 AWS上でのサーバーレスアーキテクチャ入門
Amazon Web Services Japan
モバイル開発を支えるAWS Mobile Services
モバイル開発を支えるAWS Mobile Services
Keisuke Nishitani
AWS Black Belt Tech シリーズ 2015 - Amazon API Gateway
AWS Black Belt Tech シリーズ 2015 - Amazon API Gateway
Amazon Web Services Japan
Securing Serverless Workloads with Cognito and API Gateway Part II - AWS Secu...
Securing Serverless Workloads with Cognito and API Gateway Part II - AWS Secu...
Amazon Web Services
Serverless Anti-Patterns
Serverless Anti-Patterns
Keisuke Nishitani
Developing better debug_components
Developing better debug_components
Tomoaki Imai
Single-page application
Single-page application
Fumio SAGAWA
SEO対策したサイトをAPI Gateway+Lambdaで作った話
SEO対策したサイトをAPI Gateway+Lambdaで作った話
貴大 平田
20分でおさらいするサーバレスアーキテクチャ 「サーバレスの薄い本ダイジェスト」 #serverlesstokyo
20分でおさらいするサーバレスアーキテクチャ 「サーバレスの薄い本ダイジェスト」 #serverlesstokyo
Masahiro NAKAYAMA
AWS Blackbelt 2015シリーズ Amazon CloudWatch & Amazon CloudWatch Logs
AWS Blackbelt 2015シリーズ Amazon CloudWatch & Amazon CloudWatch Logs
Amazon Web Services Japan
Redisの特徴と活用方法について
Redisの特徴と活用方法について
Yuji Otani
CloudWatchの使い方
CloudWatchの使い方
ShinsukeYokota
En vedette
(14)
20170210 jawsug横浜(AWSタグ)
20170210 jawsug横浜(AWSタグ)
サーバーレスのアーキテクチャパターンとそれぞれの実装・テストの勘所
サーバーレスのアーキテクチャパターンとそれぞれの実装・テストの勘所
AWS Black Belt Online Seminar 2016 AWS上でのサーバーレスアーキテクチャ入門
AWS Black Belt Online Seminar 2016 AWS上でのサーバーレスアーキテクチャ入門
モバイル開発を支えるAWS Mobile Services
モバイル開発を支えるAWS Mobile Services
AWS Black Belt Tech シリーズ 2015 - Amazon API Gateway
AWS Black Belt Tech シリーズ 2015 - Amazon API Gateway
Securing Serverless Workloads with Cognito and API Gateway Part II - AWS Secu...
Securing Serverless Workloads with Cognito and API Gateway Part II - AWS Secu...
Serverless Anti-Patterns
Serverless Anti-Patterns
Developing better debug_components
Developing better debug_components
Single-page application
Single-page application
SEO対策したサイトをAPI Gateway+Lambdaで作った話
SEO対策したサイトをAPI Gateway+Lambdaで作った話
20分でおさらいするサーバレスアーキテクチャ 「サーバレスの薄い本ダイジェスト」 #serverlesstokyo
20分でおさらいするサーバレスアーキテクチャ 「サーバレスの薄い本ダイジェスト」 #serverlesstokyo
AWS Blackbelt 2015シリーズ Amazon CloudWatch & Amazon CloudWatch Logs
AWS Blackbelt 2015シリーズ Amazon CloudWatch & Amazon CloudWatch Logs
Redisの特徴と活用方法について
Redisの特徴と活用方法について
CloudWatchの使い方
CloudWatchの使い方
Similaire à AWS Step FunctionとLambdaでディープラーニングの訓練を全自動化する
MySQLやSSDとかの話・後編
MySQLやSSDとかの話・後編
gree_tech
CatBoost on GPU のひみつ
CatBoost on GPU のひみつ
Takuji Tahara
RでGPU使ってみた
RでGPU使ってみた
Kazuya Wada
Introduction of mruby & Webruby script example
Introduction of mruby & Webruby script example
kishima7
MySQLやSSDとかの話・前編
MySQLやSSDとかの話・前編
gree_tech
Osoljp201204
Osoljp201204
Masataka Tsukamoto
sysloadや監視などの話(仮)
sysloadや監視などの話(仮)
Takanori Sejima
Halide, Darkroom - 並列化のためのソフトウェア・研究
Halide, Darkroom - 並列化のためのソフトウェア・研究
Yuichi Yoshida
RubyのGC改善による私のエコライフ
RubyのGC改善による私のエコライフ
Narihiro Nakamura
MySQLやSSDとかの話 後編
MySQLやSSDとかの話 後編
Takanori Sejima
クラウド時代だからSpring-Retryフレームワーク
クラウド時代だからSpring-Retryフレームワーク
Y Watanabe
極貧Webサービス運用 kawasaki.rb #044
極貧Webサービス運用 kawasaki.rb #044
Misao X
Re: 運用に自動化を求めるのは間違っているだろうか
Re: 運用に自動化を求めるのは間違っているだろうか
Masahito Zembutsu
MySQLやSSDとかの話 前編
MySQLやSSDとかの話 前編
Takanori Sejima
KubernetesでGPUクラスタを管理したい
KubernetesでGPUクラスタを管理したい
Yuji Oshima
OpenStackでつくる開発環境と外道塾
OpenStackでつくる開発環境と外道塾
外道 父
初心者がOpenIndianaで自宅サーバを作ったよって話
初心者がOpenIndianaで自宅サーバを作ったよって話
Masataka Tsukamoto
B 2-1 はじめての Windows Azure
B 2-1 はじめての Windows Azure
GoAzure
Similaire à AWS Step FunctionとLambdaでディープラーニングの訓練を全自動化する
(18)
MySQLやSSDとかの話・後編
MySQLやSSDとかの話・後編
CatBoost on GPU のひみつ
CatBoost on GPU のひみつ
RでGPU使ってみた
RでGPU使ってみた
Introduction of mruby & Webruby script example
Introduction of mruby & Webruby script example
MySQLやSSDとかの話・前編
MySQLやSSDとかの話・前編
Osoljp201204
Osoljp201204
sysloadや監視などの話(仮)
sysloadや監視などの話(仮)
Halide, Darkroom - 並列化のためのソフトウェア・研究
Halide, Darkroom - 並列化のためのソフトウェア・研究
RubyのGC改善による私のエコライフ
RubyのGC改善による私のエコライフ
MySQLやSSDとかの話 後編
MySQLやSSDとかの話 後編
クラウド時代だからSpring-Retryフレームワーク
クラウド時代だからSpring-Retryフレームワーク
極貧Webサービス運用 kawasaki.rb #044
極貧Webサービス運用 kawasaki.rb #044
Re: 運用に自動化を求めるのは間違っているだろうか
Re: 運用に自動化を求めるのは間違っているだろうか
MySQLやSSDとかの話 前編
MySQLやSSDとかの話 前編
KubernetesでGPUクラスタを管理したい
KubernetesでGPUクラスタを管理したい
OpenStackでつくる開発環境と外道塾
OpenStackでつくる開発環境と外道塾
初心者がOpenIndianaで自宅サーバを作ったよって話
初心者がOpenIndianaで自宅サーバを作ったよって話
B 2-1 はじめての Windows Azure
B 2-1 はじめての Windows Azure
Dernier
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
Dernier
(10)
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
AWS Step FunctionとLambdaでディープラーニングの訓練を全自動化する
1.
AWS STEP FUNCTIONとLAMBDAで ディープラーニングの訓練を全自動化する @mizti
2.
ディープラーニング 触ってて困ること その1
3.
GPU付きサーバが必須
4.
GPU付きサーバは高い • スポット利用せずに普通に借りると月20万円とか(無理ゲー) • 入札制のAWSのスポットインスタンスを使うと だいぶ安いけど、無視できない価格
5.
無視できない価格 • 一台あたり一時間ごとにチロルチョコが 1 ~
2個買えるくらい
6.
しかも訓練時間が長い 半日とか1日とか普通 数日とかも
7.
訓練が終わったらサーバを ちゃんと削除したい だから
8.
ディープラーニング 触ってて困ること その2
9.
訓練済みデータの収集が めんどい
10.
一台ならSCPで数分でも
11.
いろんな条件で並列に 試してると取り出すだけで一仕事 しかも終わるタイミングバラバラだったりする
12.
しまいにはどのサーバがどの 条件かわからなくなる
13.
そしてまだ結果を 取り出してないサーバを消す
14.
訓練結果を管理しやすい 場所に集約したい だから あと訓練条件とかもちゃんとラベルしたい
15.
サーバレス! • サーバレスコンピューティングって多分こういうの • 必要な時にサーバを立ち上げて使い終わったら捨てる •
そのコントローラにもサーバを用いない • だから平時にはサーバを一台も管理せずに必要な時に だけサーバが出現するシステムを作れる • (最近バズワードになりつつあるらしい)
16.
AWSで使えるサーバレスな仕組み • AWS Lambda •
Node.js / Python / Java / C#のコードを登録 • AWS内で発生したイベントでフックして起 動(手動起動も可) • 各言語のAWS SDKを使えばAWSの操作を 自動化できる(Labmda専用のライブラリが あるわけではない) • 1Labmdaあたり実行時間は60秒まで => 長い状態遷移を実行するのは向かない
17.
AWSで使えるサーバレスな仕組み • AWS Step
Functions • セルオートマトン的な状態遷移を定義 • 条件分岐や並列処理も可 • 個々のStateでの処理はAWS Lambda起動 して処理 / 結果受取する • 状態の遷移状況を可視的に確認可能 • 長時間 / 状態遷移判断の伴う処理を コントロール可能 • ピタゴラスイッチみたいで面白い
18.
こういうものを作りたい 1. 各実行ごとに専用のS3バケットを作成 2. スポットインスタンスに入札 3.
インスタンスを落札できたら • AWS SNS (メール or SMS)で成功を通知 • サーバ内に訓練用のモデルや訓練データ等をダウンロード • 訓練を開始 • 訓練途中のモデルダンプや訓練経過データを随時S3にアップロード 4. 訓練が完了したら • AWS SNS (メール or SMS)で完了を通知 • 一定時間経過後にインスタンスを削除する
19.
作った S3バケットを作る Spot Instanceをリクエスト 入札が通ったか判定 結果を通知 訓練が完了しているか判定 待機 タスク完了を通知 一定時間後、インスタンス削除
20.
実行時 • こんな感じのjsonをInputにしてStep Functionを起動する •
実行名(=S3バケット名) • 訓練対象のリポジトリ • 入力 / 出力ディレクトリ • 訓練前のデータ取得等準備に必要なコマンド • 訓練実行コマンド
21.
実行時 こうやって…
22.
実行時 こう
23.
実行時 ・実行はWebで確認できる ・結果はS3バケットにどんどん上がってくる
24.
喜びの声 • 実行を仕掛けておけば、あとは安心して 眠れる • いろんなハイパーパラメータでたくさん 並列実行しても安心 •
これを利用するために機械学習側の コードに手を入れる必要はない • たぶんいろんなバッチ処理にも 流用できる
25.
その他 • 細かい話はブログにかきました http://mizti.hatenablog.com/entry/deeplearningwithaws stepfunction • コード https://github.com/mizti/aws_stepfunc_chainer •
イラストはいらすとやさんからお借りしました http://www.irasutoya.com/
Télécharger maintenant