1. JVM Operation
Casual Talks
Cassandra監視で
やっていること

2. 自己紹介
id:oranie
@oranie
株式会社 Cyberagent 所属

3. 注意：Cassandraの項目などは
Ver1.1をベースにしています。

4. 運用しているシステムについて

5. サイバーエージェント スマートフォンプラットフォーム
s.amebame.com

6. SPOFの無いマルチマスタ
ノード追加でスケールする
処理能力とデータ保持量
スキーマレスで柔軟な
データ操作

7. System Scale
Daily Peak Cluster Request
Read : about 45,000 qps
Write : about 40,000 qps
Total Data: about 35TB + snapshot
1 node avg: 350GB ※RF:3

8. Latency
Read / avg 4ms.
Write / avg 0.1~0.7ms

9. Cluster HW spec
CPU : 16 ~ 24 core (HT enable)
Memory : 64GB
Disk : SAS 600GB RAID 10
※一部テスト的にSATAだったりSSD入れて
みたりのレンジがあった。

10. Daily Operation

11. おおまかなまとめ
サイバーエージェント 公式エンジニアブログ
http://ameblo.jp/principia-ca/entry-11514557323.html

12. Monitoring
監視

13. 運用担当当初
Cassandraの監視って何すれば
いいの？からスタート

14. Cassandraにはクエリを投げて
MySQLで言う
SHOW STATUS hogehoge
的な奴は無かった（ハズ）

15. なにかあってもどこで
性能劣化したかどうかとか
分からない。

16. とりあえず既存で使っていた
JavaアプリのCactiのテンプレ見
る

17. JVMの
GC頻度
ヒープメモリの使い方とか
グラフに取っている

18. これどこに値とか
入っているんだろう？

19. Mbeansという所に
色々入っていた。
見るのにVisualVMというのが
便利と教えてもらう。

21. 見てみるとJVMで取れる値と
アプリケーション（Cassandra）特
有の値など色々入っていた。

22. JVMで取れる値 =
Linux OSで取れる様な物
アプリ固有の物 =
Apacheのmod_statusで取れる
様な物
が入っているので、ひたすら必
要そうな物探す。

23. で、色々あるのは分かったけど
これ結局どうやって値
取っているの？

24. CactiはSNMPでした。

25. http://d.hatena.ne.jp/hogem/20121206/1354802392
hogemさんのブログより引用

26. なんというか・・・
人類にやさしくない・・・。

27. これから欲しい値取る時に
SNMPで頑張るの・・・
oid調べるのとか面倒くせ。

28. JMXという違う
インターフェイスが
ある事を知る

29. JMX = Java Management
Extensions (JMX)

30. 調べたらJavaで書かないと
無理ゲーくさい

31. Java……..
ちょっとスクリプト的な奴作っても
Nagiosで頻繁に叩くとかの時に
起動コスト高くね？

32. つーかJavaって
「くるまクラスを作って見よう」
ぐらいしかやった事ねー
PerlとかRubyとかPython
とかでサラッと書きたい。

33. そこで社内の人から
Jolokia使えば？
と教えて貰う。

35. 簡単に言うとJMXを
REST APIインターフェイスに
プロキシしてくれるモジュール。
値をJSONで返してくれる。

36. ex:)
http://localhost:8080/jolokia/
read/java.lang:type=Memory/
HeapMemoryUsage
に対してGETする。

37. ex:)
{ "committed" : 18292736,
"used" : 15348352, "max" :
532742144, "init" : 0 }
こんな感じ。

38. とても分かりやすい。
ちょっと整形すればbashでも簡
単に書ける。
PerlならJMX::Jmx4Perlという
CPANモジュールも出ている。

39. 簡単な使い方は同僚の
@la_luna_azul が書いた

40. 死活・閾値監視

41. Nagios + Jenkins + Perl Script
to mail & Push notification

42. 死活監視系概要

43. 閾値監視系概要

44. トレンド監視

47. OS monitor
・Cacti :
OS, JVM Resource graph
・Proteus-monitor : Real Time OS
monitor
(cyberagent engineer OSS product)
https://github.com/ameba-proteus/
proteus-monitor-agent

48. Proteus-monitor : Real Time OS

50. Cassandra monitor
・Cassandra Resource graph
GrowthForecast(LINE Engineer OSS product) +
yohoushi (DeNA Engineer OSS product)
・opscenter :Datastax Cassandra cluster status monitor
・Pending Checker :
Real Time Cassandra pending monitor
(cyberagent engeneer OSS prodct)

51. Opscenter

52. GrowthForecast + yohoushi

53. Pending Checker
「WebSocketで監視もリアルタイムに」
http://ameblo.jp/principia-ca/entry-11513826700.html

54. Pending Checker

55. こんな感じでとりあえず
Jolokiaで叩いて
値取ってゴニョる

56. ただ、噂によると
一部の監視アプリでは初めから
JMXを叩いて監視出来るらしい
Zabbixとか。

57. それに切り替えればいいじゃん

58. ちょっと宗教上の理由で・・・。
Zabbixを頑張るの大変そうで。

59. とりあえずもう少しはCassandra
監視はjolikia先生を使って
Nagios + GrowthForecast
辺りで頑張ってみる。

60. 以上です