devsummit_nifcloud_vmware

Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED
Developers summit 2018
VMware運用を10年続けてきた今だから言えること
～VMware vSphereベースのパブリッククラウドが乗り越えた壁～
富士通クラウドテクノロジーズ株式会社樋口茂幸
ヴイエムウェア株式会社福本薫

自己紹介ー樋口茂幸
富士通クラウドテクノロジーズ株式会社
インフラSRE部エンジニア
2013年からニフクラ IaaS 担当
主な今までの業務
• 仮想化やネットワークサービスの企画・運用
• ニフクラ IaaS への NSX 導入
2

自己紹介 – 福本
VMware
Cloud Solutions Strategist, Global Cloud Practice, VCPP Tech Services
ドットコムバブル真っ盛りだったシリコンバレーで11年間プログラマーと
して勤務
2007年に帰国後VMwareに入社して以来、プロフェッショナルサービスの
コンサルタントとして一台の物理サーバの仮想化から複数データセンター
にまたがるクラウド基盤構築まで様々なプロジェクト支援に従事
直近３年間は、グローバルのクラウド事業者パートナーの支援を担当

アジェンダ
ニフクラの変遷
ユーザーが知らない間に IaaS の裏側で起きていた3つのこと
• データセンター間マイグレーション
• 安全なストレージファームアップ
• NSX 分散ファイアウォールマイグレーション
自動化のいままでと最近の取り組みについて
• 今までの取り組みと効果
• 現在の課題とインフラの CI/CD
ニフクラのこれから
4

Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED Confidential ｜ 5
ニフクラの変遷

富士通クラウドテクノロジーズ（株）
6

NIFCLOUD サービスの変遷
7
パソコン通信事業
ISP事業
Webサービス事業
クラウド事業開始
2010年
1987年
「NIFTY-SERVE」
1996年
1999年
数百万人のインターネットライフを支える
＠niftyのサービス運用から誕生した国産パブリッククラウド
2017年2007年

VMware の賞を受賞しました
 2016 VMware Partner Innovation Award でアジア・太平洋
および日本の「VMware Regional Cloud Provider of the
Year」を受賞いたしました。
 ヴイエムウェア製品を使用した革新的なソリューションを提供した
クラウドプロバイダーとして受賞しました。
8

Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED 9
ユーザーが知らない間に
IaaS の裏側で起きていた3つのこと

IaaS を提供する上で大切にしていること
10
DNS RDB
マルチロード
バランサーESSNAS Timer
OS インストール済みサーバー NSX Edge
IaaS
iPaaS
ここをユーザーに
意識させないために
頑張っています！
インフラ部分をユーザーに意識させないこと

データセンター間マイグレーション

 データセンター間での VM のマイグレーションを実施しました。
 もしデータセンターがなくなるような事態があっても、ユーザーは気にしなくても大丈夫です
12
移行先DC移行元DC
最新のハードウェアに
変わり性能アップオンラインで移行
今の時代にふさわしい
ハードウェア

 データセンター間での VM のマイグレーションを実施しました。
 もしデータセンターがなくなるような事態があっても、ユーザーは気にしなくても大丈夫です
13
移行先DC移行元DC
CPU 世代の新しいサーバー
フラッシュストレージ
NIOC を活用した
新しい構成のネットワーク
Cross vSwitch vMotion により
vDS を変更しつつ移動
ストレージ vMotion
EVC を利用して世代を吸収
オンラインで移行
最新のハードウェアに
変わり性能アップ

安全なストレージファームアップ

問題
• VM を載せたままファームアップをしていた
• 検証をしていても本番で失敗することがあった
15
ファームアップ時のエラーが
直接 VM に影響

いま
• ストレージ vMotion でストレージを空にしてからファームアップ
16
ファームアップ時にエラーがあっても VM に影響を与えない
ファームアップ時に発生する瞬断もない

気をつけたところ
• ストレージ vMotion 自体の影響は考慮・確認している
• 現在も安定してストレージ vMotion を実行できている
17
負荷がかかる時間をなるべく避けながら
余裕のもった流量でも作業が完了するよ
うにが 24/365 対応している
IO ネットの負荷
VM の IO 性能を秒単位で監視している
異常の可能性がある場合は作業を停止する
ストレージ自体への負荷

ストレージ機器監視
秒単位の監視を実施
監視VM
slave001
管理用VM
Master
管理用VM
Backup
監視VM
slave002
監視VM
slave003
Zookeeper
クラスタ
Storages
Mesosクラスタ(監視拡張性/冗長化を担保)
Zabbix Server
MariaDB
Zabbix(監視データ冗長化担当)
Elastic + Kibana
(ストレージ容量関連)
ES1 Kibana
Influxdb + Grafana + Bosun
(保存用) (ダッシュボード) (アラート)
Influxdb1 Grafana Bosunデータ取得
ZabbixSender
ベンダーA
ベンダーB
ベンダーC
.
.

調査対応で利用する例
• 複数ソースのデータが見えると調査しやすい
VMから見たレイテンシ
ストレージ機器の性能値情報
ストレージ機器のログ
(特定操作のタイミング表示なども)

高レイテンシの頻度をチェックして、対応が必要か見る
• 対応作業ログも同時に見えると、効果が出たか分かりやすい
作業ログ
頻度集計
対象ストレージ作業者作業内容
対象ストレージ

NSX 分散ファイアウォールへの移行

ニフクラのファイアウォール機能
ハイパーバイザーのカーネルモジュール
でパケットを処理するアーキテクチャ
• ネットワーク性能をほとんど落とさない
22
以前利用していた製品が EoS になったため
同様のアーキテクチャを持つ NSX を採用
• ニフクラは NSX のデザインパートナーに認定していただき
リリース当初から VMware とディスカッションを行ないました
new
活性移行
FW スループット
[%]
NSX 59%
以前の製品 50%
なし 100%

ニフクラのファイアウォール機能
23
VMware ESXi
以前のFW
VMware ESXi
以前のFW
NSX
VMware ESXi
以前のFW
VMware ESXi
以前のFW
NSX
VMware ESXi
NSX
状態の更新
以下のステップで移行することによりシームレスな移行を実現
NSX 無効状態で
インストール
ファイアウォール
ルールコピー
NSX フルオープンで
有効化
以前の FW 無効化
NSX

ニフクラが NSX を導入したことにより
ファイアウォールだけではなく
様々なネットワーク機能を提供可能になっています

自動化のいままでと最近の取り組みについて

インフラ運用のノウハウをコード化している
26
コーディング
( pyvmomi, PowerCLI,etc )
コードレビュー Jenkins 登録利用開始
エンハンスコード共有会
（毎月1回）
Gitlab コミット
Web開発フローを活用した、ノウハウのコード化と共有・再利用
チケット化

ハード異常時の予防対応と自動化
Service Net.
IO Net.
IPMIを使用して
ハードの予兆アラートを検知
スクリプトでの他サーバへの移行
メンテナンス実施
正常性確認スクリプトの実行
クラスタへの再組み込み
検知→一次対応の自動化により、完全故障前での障害の未然防止
故障が事前に検知可能

ハード異常時の予防対応による効果
0
2
4
6
8
10
12
13/10 13/11 13/12 14/01 14/02 14/03 14/04 14/05 14/06 14/07 14/08 14/09 14/10 14/11 14/12
ハード障害件数ハード監視による予防交換件数
ハード監視開始
障害前の水際防止に成功

品質向上のために
ツール自体が環境の変化によってうまく動かなくなる事があった
ソフトウェア開発はテストによって品質担保
昨今では自動テスト、更には
Continuous Integration (CI) も普及
Infastructure as Codeの時代、
弊社でも運用等に用いるものの多くはコード化されている
29
ビルド
テスト
開発

Gitlab CI を用いた OS イメージの機能テスト
Gitlab CI
VMware ESX VMware ESX VMware ESX
Test code
push
Gitlab CI
runner
ovftool
Image build
Run test

Gitlab CI を用いた OS イメージの機能テスト
Gitlab CI
VMware ESX VMware ESX VMware ESX
code push
Gitlab CI
runner
ovftool
Image build
Run test
この部分を用意するのが大変

インフラ関連ツールの CI/CD への取り組み
32
Nested ESXi を利用した vSphere 環境を vApp としてまとめて利用している
詳しくは富士通クラウドテクノロジーズ
アドベントカレンダー2017にて
GitLab
ESXiESXiESXi
ESXi
vCenter Server
GitLab CI
runner
vCenter Server
ESXi
GitLab CI
runner
VM
VMVM
VM
テスト
環境
テスト
環境
テスト
環境
開発
環境 1. gitリポジトリへ
コードをpush
2. テスト用ジョブ
実行要求
3. 環境初期化用の
ジョブをトリガー
4. 環境初期化用の
ジョブ実行要求
5. 環境初期化のためのAPI発行
6. テスト環境の初期化
7. テストの実施

インフラ関連ツールの CI/CD への取り組み
テスト用インフラ環境構築を含めたデプロイメントパイプラインを準備
33
コミットビルド単体テストパッケージ化
テスト
環境作成
機能テストリリース
責任者開発者
コードもしくは
サポート環境の変更
この時点でインフラを用意した
テストを実行する
ここでサービス全体のテストを
実行する

おわりに
インフラを意識せずに利用できる IaaS 提供を続けます
エンタープライズ品質を維持したまま進化を続けます
クラウドの世界への「移行しやすさ No1」を目指します
これからもをよろしくお願いします
34

最後に

ぜひ公演後にお声掛けください
「ニフクラのステッカーが欲しい」方
「採用の情報を知りたい」方
36
まだまだメンバーが必要なのでぜひよろしくお願いします
採用ページもあります！
積極的に
採用中です！

devsummit_nifcloud_vmware

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à devsummit_nifcloud_vmware

Similaire à devsummit_nifcloud_vmware (20)

Plus de 富士通クラウドテクノロジーズ株式会社

Plus de 富士通クラウドテクノロジーズ株式会社 (15)

Dernier

Dernier (7)

devsummit_nifcloud_vmware