CloudStack Resource Monitoring with Munin The Only Thing I have Left To Guide Me (1.0) Munin User Group Japan http://munin.jp/ Masahito Zembutsu @zembutsu Nov 15, 2012 , CloudStack ユーザ会 第10回 #cloudstack http://atnd.org/events/33609

1. ＣｌｏｕｄＳｔａｃｋをMuninで監視・序
CloudStackのリソ スをAPI経由で監視してみる話
- CloudStackのリソースをAPI経由で監視してみる話 -
CloudStack Resource Monitoring with Munin
The Only Thing I have Left To Guide Me (1.0)
Munin User Group Japan http://munin.jp/
Masahito Zembutsu @zembutsu
Nov 15, 2012 , CloudStack ユーザ会 第10回 #cloudstack

2. Muninユーザ会の方から来ました。
Munin は、リソース監視ツールです。
これだけ覚えて、今日はお帰りください^^

3. Software Design 11月号
Munin ネタで寄稿いたしました（ ＾ω＾）

4. ＼ /
＼ 丶 i. | / ./ ／
私は誰？
＼ ヽ i. .| / / ／
＼ ヽ i | / / ／
＼
-‐
Zembutsu M
Z b t Masahito
hit ー
_＿ わ た し で す --
• 前佛 雅人 @zembutsu 二 ／￣＼ ＝ 二
￣. | ＾o＾ | ￣
-‐ ＼＿／ ‐-
– Solutions Engineer ( 萌えるSE )
／
• 株式会社リンク at+link 事業部 ( http://www.at link.ad.jp/ )
http://www.at-link.ad.jp/ / ヽ ＼
• インフラエンジニア的な仕事メイン、ホスティングの運用およびサポート ／
• 技術者に安心と休息を 提供するサービス追求(運用/監視/自動化) 丶 ＼
／ / / | i, 丶 ＼
／ / / | i, 丶 ＼
– オープンソース系・クラウド系コミュニティ活動
• http://pocketstudio jp/log3/
http://pocketstudio.jp/log3/
– 主な職歴
• 2000年 4月∼ リモート一次対応サポート部隊。 ISP サポート
• 2008年 5月∼ 社内ネットワーク保守・通常運用
• 2010年11月∼ 一次＆二次エスカレーション対応
年 月 次＆ 次 カレ シ 対応
• 2012年 7月∼ とあるデータセンタ内での運用・開発・対応等々

5. ＼ /
＼ 丶 i. | / ./ ／
私は誰？
＼ ヽ i. .| / / ／
＼ ヽ i | / / ／
＼
-‐
Zembutsu M
Z b t Masahito
hit ー
_＿ わ た し で す --
• 前佛 雅人 @zembutsu 二 ／￣＼ ＝ 二
￣. | ＾o＾ | ￣
-‐ ＼＿／ ‐-
– Solutions Engineer ( 萌えるSE )
／
• 株式会社リンク at+link 事業部 ( http://www.at link.ad.jp/ )
http://www.at-link.ad.jp/ / ヽ ＼
• インフラエンジニア的な仕事メイン、ホスティングの運用およびサポート ／
• 技術者に安心と休息を 提供するサービス追求(運用/監視/自動化) 丶 ＼
／ / / | i, 丶 ＼
／ / / | i, 丶 ＼
– オープンソース系・クラウド系コミュニティ活動
• http://pocketstudio jp/log3/
http://pocketstudio.jp/log3/
– 主な職歴
• 2000年 4月∼ リモート一次対応サポート部隊。 ISP サポート
• 2008年 5月∼ 社内ネットワーク保守・通常運用
• 2010年11月∼ 一次＆二次エスカレーション対応
年 月 次＆ 次 カレ シ 対応
• 2012年 7月∼ とあるデータセンタ内での運用・開発・対応等々

6. 普段は東京で仕事をしながら、
普段は東京で仕事をしながら
富山県で稲作農業も行ってます。
これは、今年の田植えの様子 with 姪

7. を捌く
Ops的、何か
Ops的 何か
DevOps!

8. This is an image photograph of the data center that I’m working.
This Photo is under creative commons license by torkildr
http://www.flickr.com/photos/torkildr/3462606643/sizes/l/in/photostream/

9. ―Don't forget. always, somewhere,
someone is fighting for you.
―As long as you remember her.
As her
you are not alone.
Operation (Reference: “Puella Magi Madoka Magica” Episode 12 “My Very Best Friend” )
Monitoring

10. 今日のまとめ（１０分だけなので）
• クラウド環境の運用を楽にする工夫をしよう
• Muninは手軽なリソース監視ツール
• API経由で取得すると、グラフ化も楽だね

11. Agenda
• 1. なぜリソース監視なのか？
– そこにサーバがあるから
• 2. Muninで簡単リソース監視
– 3分で始めるMunin
• 3. 実践！CloudStack連携ができる！はず
– Muninと連携するための考え方
素材 from ぶーすけ様 http://dev.skboo.net/info/working_logo_generator.html

12. #
何故リソース監視なのか？
Why we need Munin?
■□□

13. 猫も杓子もクラウドな昨今ですが
• 管理対象のサーバやリソースの増加
• 比較的にクリティカルな運用が増加

14. 昔

15. こんなの絶対おかしいよ！
昔 今 This Just Can't Be Right!!

16. You sure that’s enough armor(tools)?
• “No problem. Everything’s fine.”
– ps
p
– top そんな装備で大丈夫か？
– vmstat 大丈夫だ、問題無い。
– iostat
Really?
– free
– sar (
(sysstat) …etc
t t) t

17. 猫も杓子もクラウドな昨今ですが
• 管理対象のサーバやリソースの増加
• 比較的にクリティカルな運用が増加
• 旧来のアラートで検出しづらい障害の増加

18. あ 障害、覚
あの障害、覚えていますか。
ます 。

19. あ 障害、覚
あの障害、覚えていますか。
ます 。
2012年7月1日
08:59:59
日本標準時
JAPAN STANDARD TIME

20. あ 障害、覚
あの障害、覚えていますか。
ます 。
2012年7月1日
08:59:60
日本標準時
JAPAN STANDARD TIME

21. これはntpdを入れていた環境で発生した時の状況。
この界隈の方なら、身に覚えがあるはず…(;´Д`)

22. 丁度9時からLoad Average上昇…(;´Д`)

23. 割と今時の運用に必要な事
• 迅速な状況の把握と対処の実施
• リソース監視の有無が、
サービスの生死を左右する（かもしれない）
問題発生時、沢山のコンソールを立ち上げ手状況を把握するのは、
あまり現実的ではなくなってきています。
クラウドコンピューティングの時代だからこそ、
むしろ監視すべきリソースが増えつつあります。
この問題に対する解決の近道が、Munin なのです。

24. #
Muninで簡単リソース監視
Let’s Munin!
■■□

25. Munin
M i
Networked Resource Monitoring Tool
http://munin monitoring.org/
http://munin.jp/

26. http://demo.munin.jp/
• 画面demo

27. User’s viewpoint
Muninの構造はシンプルです。ユーザ視点では、
単純に生成されたグラフを参照するだけ。
It is only simple structure. The user refers to the data on the server.

28. Munin そのものは、5分に1回、ノード(munin-
node)からデータを収集し、RRDtool にデータを
格納しています。

29. Environment
• Perl5
• OS
– Li
Linux
• Source code ( version 2.0.7 )
• Binary Package
– Red Hat Enterprise Linux 系 ( EPEL )
– Debian
– openSUSE
– MacOS X
– Wi d
Windows Muninは Perl 言語で記述されています。
慣れると、ノードのセットアップは3分程度で
終わることもできます。

30. #
実践! CloudStack連携
My Very Best Monitoring Tool
■■■

31. CloudStack × Munin
• Munin は、データの取得をプラグインで行う
– プラグインの実体はスクリプト
– Perl , Ruby, Bash, Ruby, Python …as you like
• プラグインは簡単なスクリプト
– 例：/usr/lib/munin/plugins/load の実体
echo -n "load.value "
cut -f2 -d' ' < /proc/loadavg

32. データを取るにはAPI経由！
• CloudStack にはAPIがあります
– CloudStack API Reference
– http://download.cloud.com/releases/3.0.0/api_3.0.0/TOC_Root_Admin.html
• List系が実用的
– listCapacity等
要は、CLI でデータを取得して Munin で取り
込めば、様々なデータが取得できますよね！

33. Cloudmonkey (CLI)
• http://pypi.python.org/p
y
ypi/cloudmonkey y
• Version 0.0.4
CloudStack ML で流れていた、この CLI を試
して見ようとおもいます。Cloudmonkey と
いう名前は、ロゴにインスパイアされたそう
ですよ。

34. # curl http://python-distribute.org/distribute_setup.py ¦ python
# curl https://raw.github.com/pypa/pip/master/contrib/get-pip.py ¦ python
# pip install cloudmonkey
$ cloudmonkey
? Apache CloudStack ?ｵ cloudmonkey 0.0.4. Type help or ? to list commands.
p ｵ y yp p
?ｵ cloudmonkey>
Cloudmonkey のセットアップは簡単で、
一応立ち上がるようになったのですが。。。
動かない、この先分からない＼(^o^)／ｵﾜﾀ

35. CLIと言えば…
• CloudStackによるプライベートクラウド構築
CloudStackをAPIで操作する（2/2）
http://www.atmarkit.co.jp/fserver/articles/cloudstack/05/02.html
http://www.creationline.com/blog/asako/1172 一般社団法人クラウド利用促進機構（CUPA）
理事 荒井 康宏氏
クリエーションライン株式会社
シニアエンジニア 飯塚 雅之氏
シ ア ジ ア
• ki k
kick_api.sh
i h 2012/4/2
– sddress
– api_key
– secret_key

36. 実際に取得
# ./kick_api.sh command=listCapacity
SEND URL: http://192.168.33.232:8080/client/api?command=listCapacity&apikey=_BKC-
OPHFuYOFDF_lechzsmt3Mfm_vRtXirliM1Brak_xDTvtih8Eg5y9NW4647m4Nl5XO-pIXo3YaTmRPxOHw&signature=2C8ELUhA1tP49T%2B114X2SrIOXUU%3D
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 1707 100 1707 0 0 16754 0 --:--:-- --:--:-- --:--:-- 23708
<?xml version="1.0" encoding="ISO-8859-1"?>
<listcapacityresponse cloud-stack-version="3.0.3.2012-07-04T06:31:57Z">
<count>7</count>
<capacity>
<type>0</type>
<zoneid>e1bfdfaf-3d9b-43d4-9aea-2c9f173a1ae7</zoneid>
<zonename>devcloud</zonename>
<capacityused>419430400</capacityused>
<capacitytotal>755108928</capacitytotal>
<percentused>55.55</percentused>
</capacity>
<capacity>
<type>1</type>
<zoneid>e1bfdfaf-3d9b-43d4-9aea-2c9f173a1ae7</zoneid>
<zonename>devcloud</zonename>
<capacityused>400</capacityused>
<capacitytotal>2372</capacitytotal>
<percentused>16.86</percentused>
</capacity>
http://download.cloud.com/releases/3.0.0/api_3.0.0/root_admin/listCapacity.html

37. 実際に取得
# ./kick_api.sh command=listCapacity
SEND URL: http://192.168.33.232:8080/client/api?command=listCapacity&apikey=_BKC-
OPHFuYOFDF_lechzsmt3Mfm_vRtXirliM1Brak_xDTvtih8Eg5y9NW4647m4Nl5XO-pIXo3YaTmRPxOHw&signature=2C8ELUhA1tP49T%2B114X2SrIOXUU%3D
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 1707 100 1707 0 0 16754 0 --:--:-- --:--:-- --:--:-- 23708
<?xml version="1.0" encoding="ISO-8859-1"?>
<listcapacityresponse cloud-stack-version="3.0.3.2012-07-04T06:31:57Z">
<count>7</count>
<capacity>
<type>0</type>
<zoneid>e1bfdfaf-3d9b-43d4-9aea-2c9f173a1ae7</zoneid>
<zonename>devcloud</zonename>
<capacityused>419430400</capacityused>
<capacitytotal>755108928</capacitytotal>
<percentused>55.55</percentused>
</capacity>
<capacity>
<type>1</type>
<zoneid>e1bfdfaf-3d9b-43d4-9aea-2c9f173a1ae7</zoneid>
<zonename>devcloud</zonename>
<capacityused>400</capacityused>
<capacitytotal>2372</capacitytotal>
<percentused>16.86</percentused>
</capacity>
http://download.cloud.com/releases/3.0.0/api_3.0.0/root_admin/listCapacity.html

38. つづく

41. ＣｌｏｕｄＳｔａｃｋをMuninで監視・破
を 監視 破
- データセンタの中心でリソース監視を叫ぶインフラエンジニア -
YOU CAN (NOT) RESOURCES MONITORING

42. 今日のまとめ（再）
• クラウド環境の運用を楽にする工夫をしよう
• Muninは手軽なリソース監視ツール
• API経由で取得すると、グラフ化も楽だね

44. Reference
• Munin User Group Japan • Magazine
– http://munin.jp/ – Software Design 2012年11月号
– 第二特集 Muninが手放せない理由
– p.77-110
• Official developer s site
– http://munin-monitoring.org/
• Slideshare
– http://slideshare.net/zembutsu
p // /