Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Similar to 【HinemosWorld2015】A1-3_コンテナ技術Dockerの導入事例と完全運用自動化
Similar to 【HinemosWorld2015】A1-3_コンテナ技術Dockerの導入事例と完全運用自動化 (20)
More from Hinemos
More from Hinemos (20)
Recently uploaded
Recently uploaded (10)
【HinemosWorld2015】A1-3_コンテナ技術Dockerの導入事例と完全運用自動化
- 1. Copyright © 2015 NTT DATA Corporation 2015年10月13日 株式会社ＮＴＴデータ 梶波 崇 / 小泉 鉄之祐 【A1-3】コンテナ技術Dockerの エンタープライズシステムへの導入事例と完全運用自動化
- 2. 2Copyright © 2015 NTT DATA Corporation INDEX コンテナ技術Dockerのエンタープライズシステム への導入事例と完全運用自動化 株式会社NTTデータ 基盤システム事業本部 システム方式技術事業部事業部 梶波 崇 #2 Dockerの運用課題とHinemosによる解決方法 #1 Dockerのエンタープライズシステムへの導入事例 株式会社NTTデータ 基盤システム事業本部 システム方式技術事業部事業部 小泉 鉄之祐
- 3. Copyright © 2015 NTT DATA Corporation 3 #1 Dockerのエンタープライズシステムへの導入事例 株式会社NTTデータ 基盤システム事業本部 システム方式技術事業部事業部 梶波 崇
- 4. 4Copyright © 2015 NTT DATA Corporation 本日のTopic 9/15 弊社サービスインフォメーション掲載 弊社でのDockerの活用事例に関してご紹介します http://www.nttdata.com/jp/ja/news/services_info/2015/2015091501.html
- 5. 5Copyright © 2015 NTT DATA Corporation コンテナ技術Docker？
- 6. 6Copyright © 2015 NTT DATA Corporation コンテナ技術？
- 7. 7Copyright © 2015 NTT DATA Corporation コンテナ型仮想化 対応： 仮想化オーバーヘッドが小さい イメージサイズが小さい 起動が速い 仮想環境・仮想環境のどちらでもOK アプリ開発者が自由に作成 ホストOS上に、分離した環境を構成 VM型仮想化 コンテナ技術: 軽量な仮想化技術 物理サーバー ホストOS ハイパーバイザー 仮想サーバー 仮想サーバー ゲストOS ゲストOS アプリケーション アプリケーション 物理サーバー ホストOS コンテナ アプリケーション コンテナ アプリケーション 課題： 仮想化オーバーヘッドが大きい イメージサイズが大きい 起動が遅い 仮想環境の上に作りづらい システム管理者が作成し、払い出し ホストOS上に、仮想サーバを構成
- 8. 8Copyright © 2015 NTT DATA Corporation Docker: コンテナ管理を実現するOSS ツールの概要 Linuxコンテナ技術を用いたコンテナ管理アプリケーション 開発元 Docker Inc ライセンス Apache License 2.0 開発言語 Go Linux標準の機能(cgroups, namaspaces)を用いて、 ホスト上のコンテナ間のリソースを隔離している
- 9. 9Copyright © 2015 NTT DATA Corporation 2. 軽量: ベアメタルと同等の性能を発揮 Dockerの特徴 1. ポータビリティ: ホスト環境に依存せず動作 3. バージョン管理: 更新差分を管理可能 4. API: Docker Hubを中心としたサービス連携 検証環境 本番環境 クラウド container アプリA更新 アプリA ライブラリA 共通ライブラリ CentOS6 ベース アプリB ライブラリB 共通ライブラリ CentOS6 ベース ベースイメージは共有 更 新 を レ イ ヤ 化 ソース管理 コンテナ定義管理 イメージ管理 イメージ共有 自動試験 自動デプロイ 自動起動自動生成 サーバ OS アプリケーション 仮想サーバ OS アプリケーション コンテナ ハイパーバイザアプリケーション オーバーヘッド小 オーバーヘッド大
- 10. 10Copyright © 2015 NTT DATA Corporation Dockerの活用事例 Dockerが良く使われるところ： Webアプリなどの開発効率化 • アプリケーションを、動作環境ごとまとめてコンテナ化し、環境差異を吸収 • 全ての環境で、同じコンテナイメージを使いまわすことで、デプロイを簡易化 • コンテナを使うので、試験環境や本番環境は統合された環境を利用可能 開発環境 @手元VM 本番環境 @ベアメタル 試験環境 @クラウド container 試験 修正 リリース 本日は、Dockerを活用した商用環境の運用改善事例について、ご紹介します 開発からリリースまで、 コンテナをシームレスに利用 コミット デプロイ デプロイ
- 11. 11Copyright © 2015 NTT DATA Corporation Docker活用事例のご紹介 Finger printを活用したメディア探索システムとは？ • 音声や映像の指紋照合技術であるFinger printを活用し、音声や映像の断片を、大 量にある音声・映像情報の中から、高速、且つ高精度で検出するシステムです。 • 弊社メディア事業部では、NTT研究所が開発した世界トップクラスの高性能・高精度な 検出技術を利用し、メディア探索のSaaS型サービスを提供しています。 RMSエンジン コンテンツ 特徴データ ・・・ 一致！ 1 2 3 4 N 特徴データ 一致箇所を高速に特定 問合せ（目的信号） データベース（蓄積信号） 特徴データ抽出 関連情報付与 音声 映像 結果(曲名・CD番号・映像名などの情報） 照合 # サービス名 概要 1 全曲報告サービス 放送番組での利用楽曲を 特定し、著作権処理のため のデータ提供 2 コンテンツモニタリング 世界主要サイトで、コンテン ツの違法流通状況を監視 3 コンテンツフィルタリング 動画共有サイトにて、不正 投稿を防止。また、広告付 与などによってマネタイズ利 用も可能 4 その他各種サービス CM連動サービスや、個社 向けサービスなど
- 12. 12Copyright © 2015 NTT DATA Corporation Dockerの活用事例のご紹介 メディア探索システムの特徴 • 数10台～数100台規模のサーバ群で構成される、分散処理型のアーキテクチャ • ハードウェアの性能を最大限に消費し、高性能な検索サービスを提供 • 複数のサービスに対応した複数のアプリケーションが、環境上に存在 特徴データ 特徴データ分割 サービスaクラスタ サーバ AP a サーバ AP a サーバ AP a ・・・ サーバ AP a サービスbクラスタ サーバ AP b サーバ AP b ・・・ サーバ AP b ・・・ 各サーバは、割り当てられた 特徴データを分散検索
- 13. 13Copyright © 2015 NTT DATA Corporation Dockerの活用事例ご紹介 メディア探索システムの課題 性能維持のため、各サーバへの処理の配置管理が複雑化し、運用等の負荷に・・・ ハードウェアの性能を使いきりたいので、VMなど性能オーバーヘッドが大きいものはNG ⇒配置の柔軟性と、軽量さを兼ね備えたコンテナを活用！！ アプリ毎に動作条件が違い、 クラスタが統合できない ⇒複数クラスタを管理せざるをえない スペックが違うサーバが混在 ⇒スペック考慮した処理配置が必要 ハードウェア故障時の縮退が難しい ⇒コスト高な方式(環境2面化)で対応中 サービスaクラスタ サーバ AP a サーバ AP a サーバ AP a ・・・ サーバ AP サーバ AP a サーバ AP a ？ ？ サービスbクラスタ サーバ AP b サーバ AP b ・・・ サーバ AP b
- 14. 14Copyright © 2015 NTT DATA Corporation Dockerの活用事例ご紹介 Dockerコンテナによる分散処理の自動配置 データ分割単位ごとにDockerコンテナ化してサーバ上に配置する。 ⇒アプリの配置作業を自動化。また、複数のアプリを、共通のサーバで動作可能。 サーバ サーバ サーバ ・・・ APa APa APa APa APa APa ・・・ APa APa APa サーバ APa APa サーバ サーバ APb APb APb APb APb サーバ APb APb APa APa APa APb APb APb ・・・ ・・・ データ分割単位毎に コンテナ化 コンテナレジストリ コンテナを、HWスペックを考 慮してサーバに自動配置 サービスa サービスb クラスタは統合・ 共通化
- 15. 15Copyright © 2015 NTT DATA Corporation 空 き 空 き Dockerの活用事例ご紹介 ハードウェア故障時のDockerコンテナ自動再配置 ハードウェア故障時に、リソース状況を踏まえて、コンテナを適切に自動再配置 ⇒自動化で故障対応コストを削減。故障によるダウンタイムを短縮。 サーバ サーバ サーバ ・・・AP AP AP AP AP AP AP AP サーバ AP AP サーバ AP AP サーバ AP AP 故障 サーバ サーバ サーバ ・・・AP AP AP AP AP AP AP AP AP サーバ AP AP サーバ AP AP AP サーバ AP AP 故障サーバ上のコンテナを 空きがあるサーバに再配置
- 16. 16Copyright © 2015 NTT DATA Corporation Dockerの活用事例ご紹介 consulのDNS機能を利用したコンテナ間通信 コンテナ間はconsulのDNS機能によって、配置サーバを気にせずホスト名で通信可能 ⇒ホスト名通信に対応したアプリであれば、改修ゼロでコンテナ化ができる Search 001 Search 003 10.0.1.2 Search001 10.0.1.2 Search002 10.0.2.2 Search003 10.0.2.3 Search004 10.0.3.2 ⇒ 10.0.4.2 コンテナのDNSレコード が追加される 起動時に登録 10.0.2.3 Search 002 10.0.2.2 Search001を名前解決 ⇒10.0.1.2 解決したIPで通信 Search 004 10.0.3.2 Search 004 10.0.4.2 故障 再配置 再登録 配置ホストが変わっても ホスト名で通信可能 consul 10.0.0.0/8
- 17. 17Copyright © 2015 NTT DATA Corporation Dockerの活用事例ご紹介 Docker適用のポイント Dockerを商用環境に適用し、運用改善 • サーバスペックを考慮してアプリケーションを自動配置し、サービス性能を維持しながらコスト削減 • コンテナ技術によってハードウェアの性能を十分に活用し、シビアな性能要件に対応 ①アプリケーションの配置管理を自動化 • 故障を検知をトリガにコンテナを再配置して自動縮退させ、運用コスト削減・ダウンタイム短縮 • サーバの空きリソースを考慮した再配置によって、サービス性能は維持して縮退 ②サーバ故障発生時に、自動で縮退 • アプリケーション毎の動作条件の違いはコンテナで吸収し、基盤統合(OS、ライブラリ、etc.) • アプリケーション基盤を統合し、運用も統一化 ③複数のアプリケーション基盤を統合 • consulのDNS機能によって、基盤を意識せずにアプリ間通信が可能 • アプリケーションは変えず、基盤を更新するだけで、運用改善を実現 ④アプリケーション無改修でコンテナ化を実現
- 18. 18Copyright © 2015 NTT DATA Corporation Dockerの活用事例ご紹介 自動化の制御はHinemosで実現 • Hinemosによりコンテナを自動配置。配置したコンテナは、物理サーバと同様に監視 • サーバ故障の検知や、縮退処理の実行は、Hinemosによって実現 サーバ コンテナ サーバ サーバ サーバ サーバ サーバ コンテナ コンテナ コンテナ コンテナ コンテナ コンテナ コンテナ コンテナ AP AP AP AP AP AP APAP AP コンテナ コンテナ コンテナ コンテナ コンテナ コンテナ コンテナ コンテナ コンテナ AP AP AP AP AP AP AP AP AP 故障 故障検知 コンテナ AP コンテナ AP コンテナ AP 再配置 コンテナを自動配置し、 配置したコンテナ監視 故障を検知してコンテナ再 配置を実行し、自動で縮退 配置・監視
- 19. 19Copyright © 2015 NTT DATA Corporation Dockerの活用事例ご紹介 現状と今後の展望 • 本年度10月より本格的な技術検証を開始し、12月末までに完了予定 • ＮＴＴソフトウェアイノベーションセンタの技術協力を得ながら検証を実施 • 運用自動化のプロトタイプは、9月までに完成 • 運用試験を通して、ブラッシュアップしていく • 来年度以降、メディア探索システムの商用環境への本格的なDocker導入を予定 • 自動運用のノウハウは、今後弊社のソリューションとしてご提供予定
- 20. Copyright © 2015 NTT DATA Corporation 20 #2 Dockerの運用課題とHinemosによる解決方法 株式会社NTTデータ 基盤システム事業本部 システム方式技術事業部事業部 小泉 鉄之祐
- 21. 21Copyright © 2015 NTT DATA Corporation INDEX Dockerの運用課題 HinemosによるDockerの運用管理とは HinemosによるDockerの運用の実現 技術報告書の紹介 まとめ
- 22. 22Copyright © 2015 NTT DATA Corporation Dockerの運用課題 (1)開発、デプロイと 運用の連携 (2)迅速な構成管理 (3)Docker専用 モニタリング (4)マルチプラットフォーム 対応
- 23. 23Copyright © 2015 NTT DATA Corporation (1)開発、デプロイと運用の連携 DevOpsを実現するには、各工程で何を使って運用するか？が課題に ビルド システム運用デプロイ Docker運用の流れ CIツール Docker オーケストレー ションツール Docker モニタリングツー ル 既存のDocker運用管理 のツール類 選択肢が 多すぎる Docker環境 へはモニタリング のみ ツールが バラバラ
- 24. 24Copyright © 2015 NTT DATA Corporation (1)開発、デプロイと運用の連携 [Dockerの既存の製品・SaaSのスコープ] ・基本的にはイメージリポジトリからインフラレイヤのオーケストレーションまで ・アプリ層でのモニタリングとジョブコントロールをターゲットにしたものがない Dockerレジストリgitリポジトリ コミット ビルド オンプレミス環境仮想化環境クラウド環境 コンテナ動作インフラ デプロイ オーケストレーション クラスタ ソース管理 イメージ管理 CIツール 開発 一般的な Docker運用ツール モニタリング ジョブコントロール Docker対応 モニタリングツール 旧来のアプリケーション層の 運用管理の範囲が未対応
- 25. 25Copyright © 2015 NTT DATA Corporation (2)迅速な構成管理 Dockerのライフサイクルにあわせた迅速な構成管理が出来ないと、サービス開始後の運用 フェーズで困ります。視覚的な分かりやすさも必要です。 A 業務用コンテナ B 業務用コンテナ 追加 追加 今現在、A業務とB業務のどちらに、どれだけコンテナがあるか？ どのサーバにどれだけコンテナがあるか？ アプリケーショ ン更新 性能問題に 対応した コンテナ増強 ミドルウェアの パッチ適用 サーバメンテナ ンスによる配 置変更
- 26. 26Copyright © 2015 NTT DATA Corporation (3)Docker専用モニタリング Dockerホストのモニタリング 新しいインフラが登場すると、新しいモニタリングの項目・観点が必要になります。 Docker環境ではDocker用のモニタリングの項目・観点が必要です。 コンテナA コンテナB コンテナC コンテナA コンテナB コンテナC 論理サイズ 物理サイズ 上限 上限 どのディスク容量で 監視しますか？ Exitedな コンテナ Runningな コンテナ 物理サイズ 上限 必要な領域 不要なディスク容量を 使っていませんか？ 削除可能な領域
- 27. 27Copyright © 2015 NTT DATA Corporation (3)Docker専用モニタリング Dockerコンテナのモニタリング 新しいインフラが登場すると、新しいモニタリングの項目・観点が必要になります。 既存の仕組みだけではこれが実現できません。 コンテナA 起動 操作イベント コンテナ操作のイベントの 管理が必要ではありませんか？ コンテナA コンテナC CPU#1 利用しているCPUに 偏りはありませんか？ コンテナB 起動 コンテナC 起動 コンテナA 削除 コンテナD 起動 運用中の 誤操作 CPU#2 コンテナB コンテナA コンテナC コンテナと CPUの 偏り
- 28. 28Copyright © 2015 NTT DATA Corporation (4)マルチプラットフォーム対応 Dockerはクラウド・仮想化・オンプレミス環境上で展開する技術のため、Docker以外の環 境も合わせて管理が必要です。 適材適所で利用する場合は、コンテナ x オンプレミス環境のハイブリッドも登場する可能性が あります。 ハイパーバイザ OS Ap p OS Ap p クラウドDocker オンプレミス環境仮想化環境クラウド環境コンテナ環境 コントロール
- 29. 29Copyright © 2015 NTT DATA Corporation HinemosによるDockerの運用管理とは Dockerシステムの一元管理 マルチプラットフォーム対応 Docker対応 監視とジョブ管理 コンテナリソースの自動検知 オープンソースソフトウェアとしてのHinemos
- 30. 30Copyright © 2015 NTT DATA Corporation HinemosによるDocker運用の実現 Docker モニタリング Docker ジョブ管理 操作 コンテナ内コントロール Docker コンテナ構成管理
- 31. 31Copyright © 2015 NTT DATA Corporation Docker モニタリング • Dockerのアーキテクチャで必要となるモニタリング機能を提供します • Dockerホスト全体を俯瞰的に見たモニタリングが可能です • 個々のDockerコンテナの細かな情報もグラフィカルに表示します Dockerホスト Dockerコンテナ 状態監視 リソース監視 イベント監視 状態監視 リソース監視 HinemosによるDockerの監視
- 32. 32Copyright © 2015 NTT DATA Corporation Docker モニタリング Dockerホストのモニタリング Dockerホストの状態 … Status=0(OK)/1(NG) DockerホストのCPU使用率 … DockerホストのOS全体のCPU使用状況 Dockerコンテナ数 … 各状態(running/paused/exited/restarting)のコンテナ数 Dockerディスク使用サイズ … 各状態のコンテナ＋イメージで使用している実ディスクサイズ
- 33. 33Copyright © 2015 NTT DATA Corporation Docker モニタリング Dockerコンテナのモニタリング コンテナ単位のCPU使用率 … どのコンテナの負荷が高いかを確認 コンテナのコア別のCPU利用率 … コア単位のコンテナの使用状況 … コンテナのコア別の使用状況 コア#1はthirsty_meitnerが ほぼ占有している！ コア#1と#2をほぼ同程度 使用している！
- 34. 34Copyright © 2015 NTT DATA Corporation Docker ジョブ管理 コンテナ操作 • Dockerコンテナの起動・停止などをGUIから簡単操作、スケジュール実行ができます • Dockerコンテナ操作も、リモート & エージェントレス実行が可能です • Hinemosクラウド管理と合わせてコンテナを統合的に管理することができます コンテナ起動 コンテナ再起動 コンテナ停止 コンテナ削除 EC2インスタンス削除 EC2インスタンス起動 EC2インスタンス停止 EC2インスタンス作成 EC2インスタンス バックアップ Hinemosコンテナ管理 Hinemosクラウド管理 実行例：コンテナ操作とクラウド操作の組み合わせ
- 35. 35Copyright © 2015 NTT DATA Corporation Docker ジョブ管理 コンテナ操作 クラウドのインフラ制御とセットでDockerコンテナの制御を行えます EC2インスタンス CPUリソースの消費 09:00 21:00 EC2起動 コンテナ起動 監視有効化 監視無効化 コンテナ停止 EC2停止 監 視 監 視 監 視 監 視 無効 無効有効 有効 平日日中帯のみ試験環境を稼動させる自動運用 平日コストが 約50%減
- 36. 36Copyright © 2015 NTT DATA Corporation Docker ジョブ管理 コマンド実行 • 既存のオンプレミス環境/クラウド環境に加え、コンテナ環境のジョブ管理も可能です • コンテナ内へのコマンド実行をスケジュール化できます • コンテナに対しては、リモート & エージェントレスでコマンド実行が可能です ✔ ✔ ▲ リモート ＆ エージェントレス ジョブコントロール
- 37. 37Copyright © 2015 NTT DATA Corporation Docker ジョブ管理 コマンド実行 コンテナ内でのコマンド実行は、コンテナのリソース管理の観点で適した方式を採用しています。 Docker APIのexecをコールすることで、nsenterコマンドとは異なり、対象のコンテナのリソー ス/プロセスとして処理を実行できます。 Hinemos(Docker API利用)nsenterコマンド利用 コマンドX Xプロセス コンテナAのプロセス nsenterで起動 コマンドX Xプロセス コンテナAのプロセス Docker API(exec)で 起動 • nsenterコマンドでコンテナA内の処理を行うと、コンテナAの リソース/プロセスと識別されない リソース管理の観点：× • HinemosからコンテナA内の処理を行うと、コンテナAのリソー ス/プロセスと識別される リソース管理の観点：○ コンテナ内の処理を外部から実行する方式の違い コンテナA用のcgroups 別のcgroups コンテナA用のcgroups
- 38. 38Copyright © 2015 NTT DATA Corporation Docker コンテナ構成管理 • Dockerホストを指定するだけでコンテナ情報を検出し、直ちに運用が開始できます • Dockerコンテナの生成・削除に合わせて、構成情報を自動的に追尾します • DockerホストのDockerコンテナのマッピングが簡易に確認できます コンテナ自動検出 コンテナ自動追尾 反映 モニタリング・ジョブ管理用の リポジトリ
- 39. 39Copyright © 2015 NTT DATA Corporation Docker コンテナ構成管理 コンテナ自動検出と自動追尾 Dockerコンテナ一覧 Dockerホスト一覧 Dockerホストと Dockerコンテナの 対応表
- 40. 40Copyright © 2015 NTT DATA Corporation Docker コンテナ構成管理 コンテナのタグによる振り分け コンテナの増減に合わせて、監視設定やジョブ設定を変更することなく、監視やジョブを適した コンテナに対して実行できます。 Dockerのラベルからコンテナの属性（Webサーバ、DBサーバ等）を識別し、自動検知時に 指定のHinemosスコープに割り当てる事ができます。 Docker Webサーバのラベルを付与したコンテナ APサーバのラベルを付与したコンテナ Webサーバ用のHinemosスコー プ APサーバ用のHinemosスコープ 自動検出 自動割当 自動検出 自動割当 Webサーバ用 監視設定 ジョブ設定 Webサーバ用 監視設定 ジョブ設定 コンテナの増減にも 設定変更必要なし！
- 41. 41Copyright © 2015 NTT DATA Corporation 技術報告書の紹介 Hinemosを利用したDocker運用のノウハウを、Hinemosポータルサイトの技術情報ページ にて公開しています。 報告書＋スクリプト集が ダウンロード可能です。 http://www.hinemos.info/technology/nttdata/2015091501
- 42. 42Copyright © 2015 NTT DATA Corporation 技術報告書の紹介 @ITでDocker運用管理製品/サービスの比較情報を掲載開始しました。 http://www.atmarkit.co.jp/ait/articles/1510/02/news012.html
- 43. 43Copyright © 2015 NTT DATA Corporation まとめ ○#1 Dockerのエンタープライズシステムへの導入事例 Dockerのエンタープライズシステムへの適用として、 分散処理型のアプリケーションをコンテナ化しHW性能を最大限に活用しつつ、 HW故障時の自動復旧など運用自動化の事例を紹介しました。 Dockerを使った自動運用のノウハウは今後弊社のソリューションとして展開予定です。 ○#2 Dockerの運用課題とHinemosによる解決方法 Dockerの運用管理に課題を整理し、Hinemosの目指すビジョンと、 HinemosのDockerのモニタリング・ジョブ管理の実現方法を紹介しました。 Dockerのモニタリング・ジョブ管理のノウハウは報告書として一般公開中です。
- 44. Copyright © 2011 NTT DATA Corporation Copyright © 2015 NTT DATA Corporation