WTM52 あなたの作ったWEBサイト、生きてますか？

あなたのつくったWEBサイト
生きてますか？
WEB TOUCH MEETING 52
2012.12.22
大林正典

自己紹介
• 大林正典 / @moobay9 / インフラエンジニア

• 20世紀からHTML/CSSは触ってましたがWEBを仕事
にしたのは2007年から

• 2011年の秋まで東京の渋谷で働いてました

• わりと有名どころの会社のサイト構築・運用を経験

• 時々プログラマー（PHPとシェルスクリプト）

• 最近、会社から放流されて現在フリーです

お題
• はじめに

• WEB のおさらい

• 見てる内容

• 具体例

• まとめ

• ZABBIX

製作期間運用期間

数週〜数ヶ月数週〜数年

こと、作る話題については非常に
活発な情報交換が行なわれていると思いますが
運用についてのお話はあまり表に出てきません。

WTMやります


運用MTGします


……。
運用MTGします


だけどみなさん
WEBサイトが落ちたら
困りますよね？
当たり前ですが…

99% 99.99999…%

99% 100％

時々いるんです。
「金は出さんが人力でなん
とか100%にしろ」
って言う人

そんなわけで
落ちないように
構成を変化させる例

1.基本
インターネット

WEBサーバ

1.基本
2.機能で負荷分散

WEBサーバ

DBサーバ

1.基本

3.ネットワーク

ロードバランサーロードバランサー

WEBサーバ

DBサーバ

1.基本


4.フロント

ロードバランサーロードバランサー

WEBサーバ WEBサーバ WEBサーバ

DBサーバ

1.基本


4.フロント

ロードバランサーロードバランサー 5.バックエンド

WEBサーバ WEBサーバ WEBサーバ

DBサーバ DBサーバ

ネットワークもサーバも冗長化

だけどデータセンターが
災害で停止したら？

さすがにDCの冗長化は現実的ではないですよね…

コストをかけることで
信頼性は上げられます

だけどお金を無尽蔵にかけるわけにはいきません
信頼性とのバランスを見極める事が重要です

「落ちない」を
前提にはできない。
してはいけない。

信頼性コストのボリュームに
関係なく「落ちた時にどうするのか」が
重要なテーマになってきます。

落ちたらすぐ気づく
落ちたらすぐ復旧

ダウンタイムの最小化

じゃあ何を
見張ればいいんですか？
の、その前に

まずは基本から
http://hogehoge.jp/ が見たい！

http://hogehoge.jp/ が見たい！ DNS


hogehoge.jp ってどこ？



192.168.0.100 だよ



192.168.0.100 だよ

192.168.0.100



192.168.0.100 だよ

hogehoge.jp をみせて

192.168.0.100



192.168.0.100 だよ


OK! データ送るよ！ 192.168.0.100



192.168.0.100 だよ


OK! データ送るよ！ 192.168.0.100

監視対象

WEBサーバ

IPアドレス : 192.168.0.100
待機ポート: 80/443

待機ポート: 80/443

IPアドレス : 192.168.0.100

ポイント

• サーバは IPアドレスを持ってます

• サーバはポートを開けています

• リクエストは IPアドレスのポートに飛んできます

• IP が住所ならポートは家の窓

• 適切なポートにリクエストしないと返事をもらえません

代表的なポート
ポート番号プロトコル役目

80 HTTP WEB閲覧

443 HTTPS WEBの暗号化

25 SMTP メール送信

110 POP3 メール受信

53 DNS アドレス解決

死活監視とパフォーマンス監視

死活監視

生きてる？

死活監視

生きてる？

生きてるよ！

文字通り
生きて活動してるか
死んでるか
を監視するのが死活監視

IPアドレスの各ポートが
生きているかをチェックします

パフォーマンス監視




OK! データ送るよ！

なんか遅い？


OK! データ送るよ！

監視項目は非常に多い
• CPU使用率

• CPU ロードアベレージ

• メモリ使用量

• スワップ使用量

• ネットワーク帯域

• プロセス数

監視項目は非常に多い
• CPU使用率

• CPU ロードアベレージ

• メモリ使用量
これでもまだごく一部！
• スワップ使用量

• ネットワーク帯域

• プロセス数

サーバは突然死したように見えて、
事前に予兆を出していることが非常に多い

死んだように見えて
実はギリギリで
頑張っていたりすることも多い

時系列でどこに何が起きているのか
しっかり記録を残しておくのが

代表的なツール
Nagios OpenView

MRTG Cacti

Munin Hinemos

ZABBIX Hobbit

JP1 自作

死活監視は普段ほったらかし
だって生きているんだもん

パフォーマンス監視は
なるべく毎日チェックして
障害の兆候を見逃さないようにしましょう

たとえばCPU使用率

グラフで視覚的にトレンドを確認

たとえばCPU使用率
日週月

グラフで視覚的にトレンドを確認

「5000PV/min のとき CPU使用率が50%なら
9000PV/min くらいまでならいけそう」
という予想ができる

CPU ロードアベレージ

サーバ内で走っているプログラムを
プロセスといいます。

このプロセスはCPUに実行（演算）されますが
これの平均同時処理数のこと。

だいたいCPUのコア数以上の数字になると
注視して見ておいた方が良いです。

メモリの使用率

物理メモリと仮想メモリ（スワップ）があり、
スワップは物理と比べて極端に性能が落ちるので
物理メモリ内で収まるように
ミドルウェアの設定を調整します。

ディスクの使用率

ほっとくとディスクの中にログや
制作したデータが貯まるので
自然と保存可能領域が減ります。

ネットワークトラフィック

ネットワーク内で流れるデータ量。

これを使いきっちゃうと
サーバのスペックがいくらよくても
性能の無駄遣いになってしまう。

まず落ち着きましょう。

これがとても大切。

死活監視で状況を確認
深追いする前に慌てず
ポイントをきちんと抑える。


• サーバ全体の停止



• WEB のサービス自体




• HTTP ポートの応答




• HTTP ポートの応答

• 応答はあるが極端に遅い

まずOSが動いているかを確認。

もし止まってたら
物理サーバなら機械的な故障
仮想サーバならホストのハングアップなど。

OS はどうやら生きているらしい。
WEB サーバのプロセスは生きてる？

プロセスさんがいなくなってたら
Apache や Nginx、Windows なら IIS が
止まっちゃってる。

プロセスさんはちゃんといるし動いてる。

こんなときはファイヤーウォールが
ちゃんとポートを開いてるかチェック。

他にも色々原因になることはあります。

その他の例

• CPU の待ち時間が長い？

その他の例

• メモリはそんなにつかってない

その他の例

• でも Apache のプロセスはいつもより多い

その他の例

• でも Apache のプロセスはいつもより多い
• どうやらDBへのアクセスが大量にあるようだ


4. HTTPレスポンス 1. HTTPリクエスト

2. データ取得リクエスト

WEBサーバ 3. データのレスポンス DBサーバ



同時に３件まで








４件目以降は待たされる

応答が無い！インターネット





４件目以降は待たされる

WEBサーバのサイト見えない病の原因が
別サーバのDBでした。

wordpress はDBが必須だから
よく使ってる人はそんなこともありえます。

見た目はWEBサーバの話なのに
原因は違うサーバにありました。

…という例は枚挙に暇がありません。

監視は障害の原因追及をしていくために
切り分けを行なう判断材料として非常に大切

判断材料があるほど
原因へのリーチが早くなります。
経験（慣れ）も必要ですが…

サーバの稼働状況を眺めているだけでは
まったく意味がありません。
判断すらできません。

CPU やメモリなどのハードを
ソフトがどんなふうに使うのか、
外からのリクエストに対して
応答のやり方までわかっていないと
詳細な原因追及は難しいのです。

平時から負荷状況と
サーバの用途の因果関係を
考えながらチェックしましょう。

何か起こっても、

まず落ち着きましょう。

ここから内容が少々専門的になります。
置いてけぼりになる方はごめんなさい。

公式：http://www.zabbix.com/jp/
　日本語コミュニティ：http://www.zabbix.jp/

• ラトビアで開発されている統合監視ソフト

• 死活／性能の両方を監視できます

• 現在の最新版は2.0、Verが0.2毎に大きく変化

• VerUP のたびにDBの負荷が下がってるのが嬉しいです

• 1.4系のときは監視対象が20を超えたくらいからチュー

ニングが大変でした

• エージェント・エージェントレスの両方で使用可能

• 手間はかかりますがログの監視もできます

必要要件
•PHP 5.0以上
•データベース
-MySQLが推奨ですがOracleやPostgreSQLでも大丈夫らしい
•Apache
-1.3系でも２系でもどっちでもいいみたい
-PHPが走ればいいと思われるので、Nginx とかでもおそら
くは動きます（未検証）

できること
• ネットワーク上のサーバからデータを収集

• Linux / Windows どっちも監視OK
• Linux ならほぼ丸裸にできるくらい
• Windows は諸事情で監視項目は少なめ
• URLの監視もできます

• データをグラフにできます

簡単に言うと今までの内容が
全てカバーできます！

でもねぇ…
• サーバ側の負担がやや重め

• 監視サーバのスペックが結構必要

• 特に MySQL の I/O がキツいです
• エージェントはほとんど負荷かかりません

• 独自テンプレート作成は根気がいります

ご清聴ありがとうございました

WTM52 あなたの作ったWEBサイト、生きてますか？

Recommended

Recommended

More Related Content

What's hot

What's hot (10)

Similar to WTM52 あなたの作ったWEBサイト、生きてますか？

Similar to WTM52 あなたの作ったWEBサイト、生きてますか？ (20)

Recently uploaded

Recently uploaded (10)

WTM52 あなたの作ったWEBサイト、生きてますか？