Soumettre la recherche
Mettre en ligne
NIIクラウドチームとDocker
•
9 j'aime
•
2,628 vues
Satoshi Yazawa
Suivre
NIIクラウドチームがDockerでどうしようとしているか?Docker Meetup in Tokyo #1でしゃべらせていただきました。
Lire moins
Lire la suite
Technologie
Affichage du diaporama
Signaler
Partager
Affichage du diaporama
Signaler
Partager
1 sur 17
Télécharger maintenant
Télécharger pour lire hors ligne
Recommandé
Shimane2008
Shimane2008
Yasuko Ohba
楽しいゲーム開発管理
楽しいゲーム開発管理
Maki Koiwa
クロスプラットフォーム開発雑感 #pronamaclrhsapporocpp
クロスプラットフォーム開発雑感 #pronamaclrhsapporocpp
Katsuya Shimizu
データ製造開発について
データ製造開発について
Riou Tomita
ゲームの裏側を支える人たちの裏側
ゲームの裏側を支える人たちの裏側
Riou Tomita
20120611 SC研究会
20120611 SC研究会
Satoshi Yazawa
dodaiのProvisioning周辺探訪 - dodai勉強会 #4
dodaiのProvisioning周辺探訪 - dodai勉強会 #4
Satoshi Yazawa
OpenStackとdodai - dodai勉強会 #1
OpenStackとdodai - dodai勉強会 #1
Satoshi Yazawa
Recommandé
Shimane2008
Shimane2008
Yasuko Ohba
楽しいゲーム開発管理
楽しいゲーム開発管理
Maki Koiwa
クロスプラットフォーム開発雑感 #pronamaclrhsapporocpp
クロスプラットフォーム開発雑感 #pronamaclrhsapporocpp
Katsuya Shimizu
データ製造開発について
データ製造開発について
Riou Tomita
ゲームの裏側を支える人たちの裏側
ゲームの裏側を支える人たちの裏側
Riou Tomita
20120611 SC研究会
20120611 SC研究会
Satoshi Yazawa
dodaiのProvisioning周辺探訪 - dodai勉強会 #4
dodaiのProvisioning周辺探訪 - dodai勉強会 #4
Satoshi Yazawa
OpenStackとdodai - dodai勉強会 #1
OpenStackとdodai - dodai勉強会 #1
Satoshi Yazawa
Jupyterで運用やってみた
Jupyterで運用やってみた
Satoshi Yazawa
DockerでJupyter使おうぜ
DockerでJupyter使おうぜ
Satoshi Yazawa
女性の私が絶望せずにキャリアを積めたわけ
女性の私が絶望せずにキャリアを積めたわけ
Kumiko Sasaki
Downalodable Storyboard
Downalodable Storyboard
Yuta Tokoro
Is STEM missing a subject?
Is STEM missing a subject?
Transparent Language, Inc.
ベアメタルクラウドの運用をJupyter NotebookとAnsibleで機械化してみた
ベアメタルクラウドの運用をJupyter NotebookとAnsibleで機械化してみた
Satoshi Yazawa
Docker で Deep Learning
Docker で Deep Learning
Takenori Nakagawa
エンジニアがプロダクト育成を始めるまでにやったこと
エンジニアがプロダクト育成を始めるまでにやったこと
Takao Sumitomo
210630 python
210630 python
Takuya Nishimoto
パソナプレゼン資料
パソナプレゼン資料
Daisuke Imai
rogyゼミ第2回 ニックさん
rogyゼミ第2回 ニックさん
rogy01
Aiming における scrum 20130118
Aiming における scrum 20130118
俊仁 小林
デバイス内データの安全な保管を考える
デバイス内データの安全な保管を考える
Kentaro Mitsuyasu
Vagrantでクラウド上にdocker環境を作る
Vagrantでクラウド上にdocker環境を作る
IDC Frontier
インドのインターネット環境との戦い方
インドのインターネット環境との戦い方
健一 辰濱
ソーシャルゲーム開発における運用とそのツール
ソーシャルゲーム開発における運用とそのツール
Yoshiaki Sugimoto
【第45回コンピュータビジョン勉強会@関東】NVIDIA VisionWorks Tips紹介
【第45回コンピュータビジョン勉強会@関東】NVIDIA VisionWorks Tips紹介
Yasuhiro Yoshimura
DeNA Creative Seminar #2 に行ってきた
DeNA Creative Seminar #2 に行ってきた
silvers ofsilvers
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
Tokoroten Nakayama
エンジニアの個人ブランディングと技術組織
エンジニアの個人ブランディングと技術組織
Takafumi ONAKA
共有物の貸し出し管理システム
共有物の貸し出し管理システム
Yoshiaki Ito
Introduction to DEEPstation the GUI Deep learning environment for chainer
Introduction to DEEPstation the GUI Deep learning environment for chainer
Ryo Shimizu
Contenu connexe
En vedette
Jupyterで運用やってみた
Jupyterで運用やってみた
Satoshi Yazawa
DockerでJupyter使おうぜ
DockerでJupyter使おうぜ
Satoshi Yazawa
女性の私が絶望せずにキャリアを積めたわけ
女性の私が絶望せずにキャリアを積めたわけ
Kumiko Sasaki
Downalodable Storyboard
Downalodable Storyboard
Yuta Tokoro
Is STEM missing a subject?
Is STEM missing a subject?
Transparent Language, Inc.
ベアメタルクラウドの運用をJupyter NotebookとAnsibleで機械化してみた
ベアメタルクラウドの運用をJupyter NotebookとAnsibleで機械化してみた
Satoshi Yazawa
En vedette
(6)
Jupyterで運用やってみた
Jupyterで運用やってみた
DockerでJupyter使おうぜ
DockerでJupyter使おうぜ
女性の私が絶望せずにキャリアを積めたわけ
女性の私が絶望せずにキャリアを積めたわけ
Downalodable Storyboard
Downalodable Storyboard
Is STEM missing a subject?
Is STEM missing a subject?
ベアメタルクラウドの運用をJupyter NotebookとAnsibleで機械化してみた
ベアメタルクラウドの運用をJupyter NotebookとAnsibleで機械化してみた
Similaire à NIIクラウドチームとDocker
Docker で Deep Learning
Docker で Deep Learning
Takenori Nakagawa
エンジニアがプロダクト育成を始めるまでにやったこと
エンジニアがプロダクト育成を始めるまでにやったこと
Takao Sumitomo
210630 python
210630 python
Takuya Nishimoto
パソナプレゼン資料
パソナプレゼン資料
Daisuke Imai
rogyゼミ第2回 ニックさん
rogyゼミ第2回 ニックさん
rogy01
Aiming における scrum 20130118
Aiming における scrum 20130118
俊仁 小林
デバイス内データの安全な保管を考える
デバイス内データの安全な保管を考える
Kentaro Mitsuyasu
Vagrantでクラウド上にdocker環境を作る
Vagrantでクラウド上にdocker環境を作る
IDC Frontier
インドのインターネット環境との戦い方
インドのインターネット環境との戦い方
健一 辰濱
ソーシャルゲーム開発における運用とそのツール
ソーシャルゲーム開発における運用とそのツール
Yoshiaki Sugimoto
【第45回コンピュータビジョン勉強会@関東】NVIDIA VisionWorks Tips紹介
【第45回コンピュータビジョン勉強会@関東】NVIDIA VisionWorks Tips紹介
Yasuhiro Yoshimura
DeNA Creative Seminar #2 に行ってきた
DeNA Creative Seminar #2 に行ってきた
silvers ofsilvers
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
Tokoroten Nakayama
エンジニアの個人ブランディングと技術組織
エンジニアの個人ブランディングと技術組織
Takafumi ONAKA
共有物の貸し出し管理システム
共有物の貸し出し管理システム
Yoshiaki Ito
Introduction to DEEPstation the GUI Deep learning environment for chainer
Introduction to DEEPstation the GUI Deep learning environment for chainer
Ryo Shimizu
UnityでつくるはじめてのPONG
UnityでつくるはじめてのPONG
Kohei Kadowaki
Cocos2dx 8hour
Cocos2dx 8hour
Tomohiko Okita
東方ゲームAIとその歴史
東方ゲームAIとその歴史
ide_an
みくみくまうすについて&Unity で使えるコーディングノウハウ
みくみくまうすについて&Unity で使えるコーディングノウハウ
torisoup
Similaire à NIIクラウドチームとDocker
(20)
Docker で Deep Learning
Docker で Deep Learning
エンジニアがプロダクト育成を始めるまでにやったこと
エンジニアがプロダクト育成を始めるまでにやったこと
210630 python
210630 python
パソナプレゼン資料
パソナプレゼン資料
rogyゼミ第2回 ニックさん
rogyゼミ第2回 ニックさん
Aiming における scrum 20130118
Aiming における scrum 20130118
デバイス内データの安全な保管を考える
デバイス内データの安全な保管を考える
Vagrantでクラウド上にdocker環境を作る
Vagrantでクラウド上にdocker環境を作る
インドのインターネット環境との戦い方
インドのインターネット環境との戦い方
ソーシャルゲーム開発における運用とそのツール
ソーシャルゲーム開発における運用とそのツール
【第45回コンピュータビジョン勉強会@関東】NVIDIA VisionWorks Tips紹介
【第45回コンピュータビジョン勉強会@関東】NVIDIA VisionWorks Tips紹介
DeNA Creative Seminar #2 に行ってきた
DeNA Creative Seminar #2 に行ってきた
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
エンジニアの個人ブランディングと技術組織
エンジニアの個人ブランディングと技術組織
共有物の貸し出し管理システム
共有物の貸し出し管理システム
Introduction to DEEPstation the GUI Deep learning environment for chainer
Introduction to DEEPstation the GUI Deep learning environment for chainer
UnityでつくるはじめてのPONG
UnityでつくるはじめてのPONG
Cocos2dx 8hour
Cocos2dx 8hour
東方ゲームAIとその歴史
東方ゲームAIとその歴史
みくみくまうすについて&Unity で使えるコーディングノウハウ
みくみくまうすについて&Unity で使えるコーディングノウハウ
Dernier
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Hiroshi Tomioka
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
Dernier
(12)
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
NIIクラウドチームとDocker
1.
NIIクラウドチームと Docker 有限会社e-ambition 谷沢智史 @yacchin1205
2.
今日の内容 • NIIクラウドの人々やNIIクラウドのこと • Dockerでうれしいことを実例を交えつつ・・・ •
運用監視ツールとDocker • コンテンツバックアップサイトプロトタイプとDocker
3.
発表する人 • Yazawa @yacchin1205 •
アプリケーション開発よりの人間 • 学生時代:企業内システム開発とかオンラインゲー ム開発とか • 次世代DVDのアプリケーション部分の開発とか • Blu-ray DiscのJavaなども • 色々あってクラウドの運用のお手伝い中 • ゲーム大好き • 問題意識:業務が忙しすぎて狩りが進まない • できるだけ仕事しなくてもよいシステムを模索中・・・
4.
NIIクラウドの 人々 (うちDockerにかかわる) • Yokoyama-sensei @jxta •
クラウド開発・運用のボス • 色々な件の言いだしっぺ • Nagaku-san @mnagaku • クラウド運用の実務リーダー • イベント仕切りスキル • Koide-san @DG0426 • コンテンツバックアップサイトプロトタイプ開発(後述)(長い) • 囲碁スキル
5.
NIIクラウド • NIIではプライベートクラウドを開発、運用中 • 国立情報学研究所千葉分館:
30ラック強 • 仮想マシン貸しIaaSとか • ベアメタルクラウドとか • OpenStack Swiftベースのオブジェクト ストレージとか • だいたい物理マシン400台くらい
6.
NIIクラウドの中の業務 • クラウドサービスの維持 • 壊れていくハードウェアをあれやこれやしてサービスを維持する •
クラウドサービスの利用方法の模索・提案 • クラウドに「合った」使い方の模索・提案 • いろんなシステムのいろんなバージョンを扱う:人柱業務
7.
Dockerでうれしいこと ① 再現性:試行錯誤がかんたん ② 可搬性:移動がかんたん ③
透過性:状況把握がかんたん
8.
再現性/可搬性: 運用監視ツールとDocker • クラウド運用監視ツール …
独自に開発 • 「俯瞰」できる運用監視ツール • お絵かきツール+Visual Programming的グラフクエリ+Google Maps風I/F
9.
構成要素 • 貯めるべきデータ形式によりDBを用意 • MongoDB,
OpenTSDB(+HBase), Elasticsearch, … • 限りあるリソースでどう動かすか? • VM基盤をのっけるのはヘビー(気持ち的に) • そうだ、コンテナにしよう
10.
再現性 • 研究機関なので色々チャレンジングなこと をしたい • ぱっと作ってぱっと壊したい •
思い付きでやっても、あとで再現できない とつらい • やったらやったで、ドキュメントとか記録し ておかなければならなくてつらい • Dockerfileで幸せに • サクッと別環境に移せる • ローカルのVagrant環境にだって移せる • ドキュメントの代わりになる • 超シンプル、読むのは対して難しくない • 意図をコメントとして残しておけば、あと から参照するには十分そう
11.
可搬性 • 運用を続けるといろいろ壊れる • サービスを別の無事なマシンに移動 •
ソフトウェアも色々不整合を起こしたり • 試行錯誤したい→サービス環境での実施は難しい • Private Registryを経由してpush/pull
12.
透過性: コンテンツバックアップサイト プロトタイプとDocker • Docker Meetup
in Tokyoのきっかけ • @jxta先生の(締め切り前日の)発案 JAIRO Cloud back-up site prototype with docker and etcd http://www.youtube.com/watch?v=gwFskF-5xBs
13.
JAIRO Cloud • NIIにはコンテンツサービスがたくさん •
クラウドを使ってもらう活用方法の1つとしてデモ
14.
バックアップサイト • コンテンツサービスにおいて定期的にバックアップ • このデータを、ひな形となるコンテナに流し込みRead-onlyな サービスを作る •
VMでも動くしAmazonとかにも展開できちゃうよね! • HAProxyでなくてhipacheのほうでもよいかも
15.
透過性 • 多数動かす/長期間動かす・・・だん だん調子が悪くなってくる • LXC:
プロセスがホスト側から全部 見える • サービスがなんか重い・・・ホスト側 でtopして様子見 • ホストにMuninを仕込んでおくだけ で様子はだいぶ見える • ログどうしよう? • ここはログ集約機構 (Elasticsearchとか)のお世話に • VMに比べてとても解析しやすい、 試行錯誤しやすい
16.
近況: ハマっています • さっきまで格闘してました • 特定のImageでなぜかRemove
Containerで怒られる • /var/lib/docker を別のところに置くときsymlinkじゃダメで docker –g <path> 使うべきみたいな話のよう • 0.6のとき問題なかったけど0.7から起きてきたような記述もあり・・・ • 2時間前のコメントに救われるリアルタイム感
17.
ありがとうございました!
Télécharger maintenant