【HinemosWorld2015】A1-3_コンテナ技術Dockerの導入事例と完全運用自動化

2. 2Copyright © 2015 NTT DATA Corporation INDEX コンテナ技術Dockerのエンタープライズシステムへの導入事例と完全運用自動化株式会社NTTデータ基盤システム事業本部システム方式技術事業部事業部梶波崇 #2 Dockerの運用課題とHinemosによる解決方法 #1 Dockerのエンタープライズシステムへの導入事例株式会社NTTデータ基盤システム事業本部システム方式技術事業部事業部小泉鉄之祐

7. 7Copyright © 2015 NTT DATA Corporation コンテナ型仮想化対応：仮想化オーバーヘッドが小さいイメージサイズが小さい起動が速い仮想環境・仮想環境のどちらでもOK アプリ開発者が自由に作成ホストOS上に、分離した環境を構成 VM型仮想化コンテナ技術: 軽量な仮想化技術物理サーバーホストOS ハイパーバイザー仮想サーバー仮想サーバーゲストOS ゲストOS アプリケーションアプリケーション物理サーバーホストOS コンテナアプリケーションコンテナアプリケーション課題：仮想化オーバーヘッドが大きいイメージサイズが大きい起動が遅い仮想環境の上に作りづらいシステム管理者が作成し、払い出しホストOS上に、仮想サーバを構成

8. 8Copyright © 2015 NTT DATA Corporation Docker: コンテナ管理を実現するOSS ツールの概要 Linuxコンテナ技術を用いたコンテナ管理アプリケーション開発元 Docker Inc ライセンス Apache License 2.0 開発言語 Go Linux標準の機能(cgroups, namaspaces)を用いて、ホスト上のコンテナ間のリソースを隔離している

9. 9Copyright © 2015 NTT DATA Corporation 2. 軽量: ベアメタルと同等の性能を発揮 Dockerの特徴 1. ポータビリティ: ホスト環境に依存せず動作 3. バージョン管理: 更新差分を管理可能 4. API: Docker Hubを中心としたサービス連携検証環境本番環境クラウド container アプリA更新アプリA ライブラリA 共通ライブラリ CentOS6 ベースアプリB ライブラリB 共通ライブラリ CentOS6 ベースベースイメージは共有更新をレイヤ化ソース管理コンテナ定義管理イメージ管理イメージ共有自動試験自動デプロイ自動起動自動生成サーバ OS アプリケーション仮想サーバ OS アプリケーションコンテナハイパーバイザアプリケーションオーバーヘッド小オーバーヘッド大

10. 10Copyright © 2015 NTT DATA Corporation Dockerの活用事例 Dockerが良く使われるところ： Webアプリなどの開発効率化 • アプリケーションを、動作環境ごとまとめてコンテナ化し、環境差異を吸収 • 全ての環境で、同じコンテナイメージを使いまわすことで、デプロイを簡易化 • コンテナを使うので、試験環境や本番環境は統合された環境を利用可能開発環境 @手元VM 本番環境 @ベアメタル試験環境 @クラウド container 試験修正リリース本日は、Dockerを活用した商用環境の運用改善事例について、ご紹介します開発からリリースまで、コンテナをシームレスに利用コミットデプロイデプロイ

11. 11Copyright © 2015 NTT DATA Corporation Docker活用事例のご紹介 Finger printを活用したメディア探索システムとは？ • 音声や映像の指紋照合技術であるFinger printを活用し、音声や映像の断片を、大量にある音声・映像情報の中から、高速、且つ高精度で検出するシステムです。 • 弊社メディア事業部では、NTT研究所が開発した世界トップクラスの高性能・高精度な検出技術を利用し、メディア探索のSaaS型サービスを提供しています。 RMSエンジンコンテンツ特徴データ・・・一致！ 1 2 3 4 N 特徴データ一致箇所を高速に特定問合せ（目的信号）データベース（蓄積信号）特徴データ抽出関連情報付与音声映像結果(曲名・CD番号・映像名などの情報）照合 # サービス名概要 1 全曲報告サービス放送番組での利用楽曲を特定し、著作権処理のためのデータ提供 2 コンテンツモニタリング世界主要サイトで、コンテンツの違法流通状況を監視 3 コンテンツフィルタリング動画共有サイトにて、不正投稿を防止。また、広告付与などによってマネタイズ利用も可能 4 その他各種サービス CM連動サービスや、個社向けサービスなど

12. 12Copyright © 2015 NTT DATA Corporation Dockerの活用事例のご紹介メディア探索システムの特徴 • 数10台～数100台規模のサーバ群で構成される、分散処理型のアーキテクチャ • ハードウェアの性能を最大限に消費し、高性能な検索サービスを提供 • 複数のサービスに対応した複数のアプリケーションが、環境上に存在特徴データ特徴データ分割サービスaクラスタサーバ AP a サーバ AP a サーバ AP a ・・・サーバ AP a サービスbクラスタサーバ AP b サーバ AP b ・・・サーバ AP b ・・・各サーバは、割り当てられた特徴データを分散検索

13. 13Copyright © 2015 NTT DATA Corporation Dockerの活用事例ご紹介メディア探索システムの課題性能維持のため、各サーバへの処理の配置管理が複雑化し、運用等の負荷に・・・ハードウェアの性能を使いきりたいので、VMなど性能オーバーヘッドが大きいものはNG ⇒配置の柔軟性と、軽量さを兼ね備えたコンテナを活用！！アプリ毎に動作条件が違い、クラスタが統合できない ⇒複数クラスタを管理せざるをえないスペックが違うサーバが混在 ⇒スペック考慮した処理配置が必要ハードウェア故障時の縮退が難しい ⇒コスト高な方式(環境2面化)で対応中サービスaクラスタサーバ AP a サーバ AP a サーバ AP a ・・・サーバ AP サーバ AP a サーバ AP a ？？サービスbクラスタサーバ AP b サーバ AP b ・・・サーバ AP b

14. 14Copyright © 2015 NTT DATA Corporation Dockerの活用事例ご紹介 Dockerコンテナによる分散処理の自動配置データ分割単位ごとにDockerコンテナ化してサーバ上に配置する。 ⇒アプリの配置作業を自動化。また、複数のアプリを、共通のサーバで動作可能。サーバサーバサーバ・・・ APa APa APa APa APa APa ・・・ APa APa APa サーバ APa APa サーバサーバ APb APb APb APb APb サーバ APb APb APa APa APa APb APb APb ・・・・・・データ分割単位毎にコンテナ化コンテナレジストリコンテナを、HWスペックを考慮してサーバに自動配置サービスa サービスb クラスタは統合・共通化

15. 15Copyright © 2015 NTT DATA Corporation 空き空き Dockerの活用事例ご紹介ハードウェア故障時のDockerコンテナ自動再配置ハードウェア故障時に、リソース状況を踏まえて、コンテナを適切に自動再配置 ⇒自動化で故障対応コストを削減。故障によるダウンタイムを短縮。サーバサーバサーバ・・・AP AP AP AP AP AP AP AP サーバ AP AP サーバ AP AP サーバ AP AP 故障サーバサーバサーバ・・・AP AP AP AP AP AP AP AP AP サーバ AP AP サーバ AP AP AP サーバ AP AP 故障サーバ上のコンテナを空きがあるサーバに再配置

16. 16Copyright © 2015 NTT DATA Corporation Dockerの活用事例ご紹介 consulのDNS機能を利用したコンテナ間通信コンテナ間はconsulのDNS機能によって、配置サーバを気にせずホスト名で通信可能 ⇒ホスト名通信に対応したアプリであれば、改修ゼロでコンテナ化ができる Search 001 Search 003 10.0.1.2 Search001 10.0.1.2 Search002 10.0.2.2 Search003 10.0.2.3 Search004 10.0.3.2 ⇒ 10.0.4.2 コンテナのDNSレコードが追加される起動時に登録 10.0.2.3 Search 002 10.0.2.2 Search001を名前解決 ⇒10.0.1.2 解決したIPで通信 Search 004 10.0.3.2 Search 004 10.0.4.2 故障再配置再登録配置ホストが変わってもホスト名で通信可能 consul 10.0.0.0/8

17. 17Copyright © 2015 NTT DATA Corporation Dockerの活用事例ご紹介 Docker適用のポイント Dockerを商用環境に適用し、運用改善 • サーバスペックを考慮してアプリケーションを自動配置し、サービス性能を維持しながらコスト削減 • コンテナ技術によってハードウェアの性能を十分に活用し、シビアな性能要件に対応 ①アプリケーションの配置管理を自動化 • 故障を検知をトリガにコンテナを再配置して自動縮退させ、運用コスト削減・ダウンタイム短縮 • サーバの空きリソースを考慮した再配置によって、サービス性能は維持して縮退 ②サーバ故障発生時に、自動で縮退 • アプリケーション毎の動作条件の違いはコンテナで吸収し、基盤統合(OS、ライブラリ、etc.) • アプリケーション基盤を統合し、運用も統一化 ③複数のアプリケーション基盤を統合 • consulのDNS機能によって、基盤を意識せずにアプリ間通信が可能 • アプリケーションは変えず、基盤を更新するだけで、運用改善を実現 ④アプリケーション無改修でコンテナ化を実現

18. 18Copyright © 2015 NTT DATA Corporation Dockerの活用事例ご紹介自動化の制御はHinemosで実現 • Hinemosによりコンテナを自動配置。配置したコンテナは、物理サーバと同様に監視 • サーバ故障の検知や、縮退処理の実行は、Hinemosによって実現サーバコンテナサーバサーバサーバサーバサーバコンテナコンテナコンテナコンテナコンテナコンテナコンテナコンテナ AP AP AP AP AP AP APAP AP コンテナコンテナコンテナコンテナコンテナコンテナコンテナコンテナコンテナ AP AP AP AP AP AP AP AP AP 故障故障検知コンテナ AP コンテナ AP コンテナ AP 再配置コンテナを自動配置し、配置したコンテナ監視故障を検知してコンテナ再配置を実行し、自動で縮退配置・監視

19. 19Copyright © 2015 NTT DATA Corporation Dockerの活用事例ご紹介現状と今後の展望 • 本年度10月より本格的な技術検証を開始し、12月末までに完了予定 • ＮＴＴソフトウェアイノベーションセンタの技術協力を得ながら検証を実施 • 運用自動化のプロトタイプは、9月までに完成 • 運用試験を通して、ブラッシュアップしていく • 来年度以降、メディア探索システムの商用環境への本格的なDocker導入を予定 • 自動運用のノウハウは、今後弊社のソリューションとしてご提供予定

23. 23Copyright © 2015 NTT DATA Corporation (1)開発、デプロイと運用の連携 DevOpsを実現するには、各工程で何を使って運用するか？が課題にビルドシステム運用デプロイ Docker運用の流れ CIツール Docker オーケストレーションツール Docker モニタリングツール既存のDocker運用管理のツール類選択肢が多すぎる Docker環境へはモニタリングのみツールがバラバラ

24. 24Copyright © 2015 NTT DATA Corporation (1)開発、デプロイと運用の連携 [Dockerの既存の製品・SaaSのスコープ] ・基本的にはイメージリポジトリからインフラレイヤのオーケストレーションまで・アプリ層でのモニタリングとジョブコントロールをターゲットにしたものがない Dockerレジストリgitリポジトリコミットビルドオンプレミス環境仮想化環境クラウド環境コンテナ動作インフラデプロイオーケストレーションクラスタソース管理イメージ管理 CIツール開発一般的な Docker運用ツールモニタリングジョブコントロール Docker対応モニタリングツール旧来のアプリケーション層の運用管理の範囲が未対応

25. 25Copyright © 2015 NTT DATA Corporation (2)迅速な構成管理 Dockerのライフサイクルにあわせた迅速な構成管理が出来ないと、サービス開始後の運用フェーズで困ります。視覚的な分かりやすさも必要です。 A 業務用コンテナ B 業務用コンテナ追加追加今現在、A業務とB業務のどちらに、どれだけコンテナがあるか？どのサーバにどれだけコンテナがあるか？アプリケーション更新性能問題に対応したコンテナ増強ミドルウェアのパッチ適用サーバメンテナンスによる配置変更

26. 26Copyright © 2015 NTT DATA Corporation (3)Docker専用モニタリング Dockerホストのモニタリング新しいインフラが登場すると、新しいモニタリングの項目・観点が必要になります。 Docker環境ではDocker用のモニタリングの項目・観点が必要です。コンテナA コンテナB コンテナC コンテナA コンテナB コンテナC 論理サイズ物理サイズ上限上限どのディスク容量で監視しますか？ Exitedなコンテナ Runningなコンテナ物理サイズ上限必要な領域不要なディスク容量を使っていませんか？削除可能な領域

27. 27Copyright © 2015 NTT DATA Corporation (3)Docker専用モニタリング Dockerコンテナのモニタリング新しいインフラが登場すると、新しいモニタリングの項目・観点が必要になります。既存の仕組みだけではこれが実現できません。コンテナA 起動操作イベントコンテナ操作のイベントの管理が必要ではありませんか？コンテナA コンテナC CPU#1 利用しているCPUに偏りはありませんか？コンテナB 起動コンテナC 起動コンテナA 削除コンテナD 起動運用中の誤操作 CPU#2 コンテナB コンテナA コンテナC コンテナと CPUの偏り

28. 28Copyright © 2015 NTT DATA Corporation (4)マルチプラットフォーム対応 Dockerはクラウド・仮想化・オンプレミス環境上で展開する技術のため、Docker以外の環境も合わせて管理が必要です。適材適所で利用する場合は、コンテナ x オンプレミス環境のハイブリッドも登場する可能性があります。ハイパーバイザ OS Ap p OS Ap p クラウドDocker オンプレミス環境仮想化環境クラウド環境コンテナ環境コントロール

31. 31Copyright © 2015 NTT DATA Corporation Docker モニタリング • Dockerのアーキテクチャで必要となるモニタリング機能を提供します • Dockerホスト全体を俯瞰的に見たモニタリングが可能です • 個々のDockerコンテナの細かな情報もグラフィカルに表示します Dockerホスト Dockerコンテナ状態監視リソース監視イベント監視状態監視リソース監視 HinemosによるDockerの監視

32. 32Copyright © 2015 NTT DATA Corporation Docker モニタリング Dockerホストのモニタリング Dockerホストの状態 … Status=0(OK)/1(NG) DockerホストのCPU使用率 … DockerホストのOS全体のCPU使用状況 Dockerコンテナ数 … 各状態(running/paused/exited/restarting)のコンテナ数 Dockerディスク使用サイズ … 各状態のコンテナ＋イメージで使用している実ディスクサイズ

33. 33Copyright © 2015 NTT DATA Corporation Docker モニタリング Dockerコンテナのモニタリングコンテナ単位のCPU使用率 … どのコンテナの負荷が高いかを確認コンテナのコア別のCPU利用率 … コア単位のコンテナの使用状況 … コンテナのコア別の使用状況コア#1はthirsty_meitnerがほぼ占有している！コア#1と#2をほぼ同程度使用している！

34. 34Copyright © 2015 NTT DATA Corporation Docker ジョブ管理コンテナ操作 • Dockerコンテナの起動・停止などをGUIから簡単操作、スケジュール実行ができます • Dockerコンテナ操作も、リモート & エージェントレス実行が可能です • Hinemosクラウド管理と合わせてコンテナを統合的に管理することができますコンテナ起動コンテナ再起動コンテナ停止コンテナ削除 EC2インスタンス削除 EC2インスタンス起動 EC2インスタンス停止 EC2インスタンス作成 EC2インスタンスバックアップ Hinemosコンテナ管理 Hinemosクラウド管理実行例：コンテナ操作とクラウド操作の組み合わせ

35. 35Copyright © 2015 NTT DATA Corporation Docker ジョブ管理コンテナ操作クラウドのインフラ制御とセットでDockerコンテナの制御を行えます EC2インスタンス CPUリソースの消費 09:00 21:00 EC2起動コンテナ起動監視有効化監視無効化コンテナ停止 EC2停止監視監視監視監視無効無効有効有効平日日中帯のみ試験環境を稼動させる自動運用平日コストが約50%減

36. 36Copyright © 2015 NTT DATA Corporation Docker ジョブ管理コマンド実行 • 既存のオンプレミス環境/クラウド環境に加え、コンテナ環境のジョブ管理も可能です • コンテナ内へのコマンド実行をスケジュール化できます • コンテナに対しては、リモート & エージェントレスでコマンド実行が可能です ✔ ✔ ▲ リモート＆エージェントレスジョブコントロール

37. 37Copyright © 2015 NTT DATA Corporation Docker ジョブ管理コマンド実行コンテナ内でのコマンド実行は、コンテナのリソース管理の観点で適した方式を採用しています。 Docker APIのexecをコールすることで、nsenterコマンドとは異なり、対象のコンテナのリソース/プロセスとして処理を実行できます。 Hinemos(Docker API利用)nsenterコマンド利用コマンドX XプロセスコンテナAのプロセス nsenterで起動コマンドX XプロセスコンテナAのプロセス Docker API(exec)で起動 • nsenterコマンドでコンテナA内の処理を行うと、コンテナAのリソース/プロセスと識別されないリソース管理の観点：× • HinemosからコンテナA内の処理を行うと、コンテナAのリソース/プロセスと識別されるリソース管理の観点：○ コンテナ内の処理を外部から実行する方式の違いコンテナA用のcgroups 別のcgroups コンテナA用のcgroups

38. 38Copyright © 2015 NTT DATA Corporation Docker コンテナ構成管理 • Dockerホストを指定するだけでコンテナ情報を検出し、直ちに運用が開始できます • Dockerコンテナの生成・削除に合わせて、構成情報を自動的に追尾します • DockerホストのDockerコンテナのマッピングが簡易に確認できますコンテナ自動検出コンテナ自動追尾反映モニタリング・ジョブ管理用のリポジトリ

40. 40Copyright © 2015 NTT DATA Corporation Docker コンテナ構成管理コンテナのタグによる振り分けコンテナの増減に合わせて、監視設定やジョブ設定を変更することなく、監視やジョブを適したコンテナに対して実行できます。 Dockerのラベルからコンテナの属性（Webサーバ、DBサーバ等）を識別し、自動検知時に指定のHinemosスコープに割り当てる事ができます。 Docker Webサーバのラベルを付与したコンテナ APサーバのラベルを付与したコンテナ Webサーバ用のHinemosスコープ APサーバ用のHinemosスコープ自動検出自動割当自動検出自動割当 Webサーバ用監視設定ジョブ設定 Webサーバ用監視設定ジョブ設定コンテナの増減にも設定変更必要なし！

43. 43Copyright © 2015 NTT DATA Corporation まとめ ○#1 Dockerのエンタープライズシステムへの導入事例 Dockerのエンタープライズシステムへの適用として、分散処理型のアプリケーションをコンテナ化しHW性能を最大限に活用しつつ、 HW故障時の自動復旧など運用自動化の事例を紹介しました。 Dockerを使った自動運用のノウハウは今後弊社のソリューションとして展開予定です。 ○#2 Dockerの運用課題とHinemosによる解決方法 Dockerの運用管理に課題を整理し、Hinemosの目指すビジョンと、 HinemosのDockerのモニタリング・ジョブ管理の実現方法を紹介しました。 Dockerのモニタリング・ジョブ管理のノウハウは報告書として一般公開中です。

【HinemosWorld2015】A1-3_コンテナ技術Dockerの導入事例と完全運用自動化

【HinemosWorld2015】A1-3_コンテナ技術Dockerの導入事例と完全運用自動化

Recommandé

Contenu connexe

Tendances

Tendances(20)

En vedette

En vedette(6)

Similaire à 【HinemosWorld2015】A1-3_コンテナ技術Dockerの導入事例と完全運用自動化

Similaire à 【HinemosWorld2015】A1-3_コンテナ技術Dockerの導入事例と完全運用自動化(20)

Plus de Hinemos

Plus de Hinemos(20)

Dernier

Dernier(11)

【HinemosWorld2015】A1-3_コンテナ技術Dockerの導入事例と完全運用自動化