This is my memo when I study monit.

1. the study of monit
July,12,2014
Tadayasu Yotsu

2. What is monit ?
monitはプロセスを監視し、エラー時に自動でメンテナ
ンスと復旧を行うことができるツール。(http://
mmonit.com/monit/)。例えばプロセスを関して問題
を検知したらプロセスを再起動するといったことが可能。
プロセスだけでなく、ファイルやディレクトリ、ファイル
システムの変更なども監視可能。
Monitは独自のDSL(Domain Specific Language)を
使用。DSLが非常に読み易くGood.

3. Install
Environment
AWS EC2 t1micro, OS:RHEL6.5
Install
$ sudo yum install monit
どこに何が格納されたのか確認
$ rpm -ql monit
/etc/logrotate.d/monit
/etc/monit.conf
/etc/monit.d
/etc/monit.d/logging
/etc/rc.d/init.d/monit
/usr/bin/monit
/usr/share/doc/monit-5.1.1
/usr/share/doc/monit-5.1.1/CHANGES.txt
/usr/share/doc/monit-5.1.1/COPYING
/usr/share/doc/monit-5.1.1/LICENSE
/usr/share/doc/monit-5.1.1/PLATFORMS
/usr/share/doc/monit-5.1.1/README
/usr/share/doc/monit-5.1.1/README.DEVELOPER
/usr/share/doc/monit-5.1.1/README.SSL
/usr/share/man/man1/monit.1.gz
/var/log/monit
!

4. Configuration
set daemon < 監視する間隔
set logfile <Path> ログファイルの
set logfile syslog facility <faclity syslog
set mailserver < 何かイベントが発生した場合にメー
ルで通知set alert <
set alert < 通知して欲しいイベントのみ通知
set alert < 特定のイベント以外を通知
include <Path> 別の設定ファイルをインクルード
configuration file is /etc/monit.conf
global設定は/etc/monit.confに記載し、プロセスなどの監視・コントロー
ルについては/etc/monit.d/配下にそれぞれ書いていった方がよさそう。

5. 例）global? config
コントロール全てに共通の設定を/etc/monit.confに記述
##監視間隔を１分に設定
set daemon 60
##ログをsyslogに飛ばす
set logfile syslog facility log_daemon
##プライマリとセカンダリのサーバを指定
set mailserver mail1.ex.com,mail2.ex.com
set mail-format {
##アラートメールのフォーマットなど
from: monit@ex.com
subject: $HOST : $SERVICE - $EVENT
message: Monit
ACTION : $ACTION
SERVICE : $SERVICE
at $DATE on $HOST.
DESCRIPTION : $DESCRIPTION
}
set alert server_alert@ex.com
include /etc/monit.d/*.conf

6. A service does not exist (e.g. process is not
running)
Cannot read service data (e.g. cannot get
filesystem usage)
Execution of service related scripts failed (e.g.
start failed)
Invalid service type (e.g. if path points to
directory instead of file)
Custom test script returned error
Ping test failed
TCP/UDP connection and/or port test failed
Resource usage test failed (e.g. cpu usage too
high)
Checksum mismatch or change (e.g. file
changed)
File size test failed (e.g. file too large)
Appendix）Alert Messages
以下のsituationのとき、Alertをraiseする。
Timestamp test failed (e.g. file is older then
expected)
Permission test failed (e.g. file mode doesn't
match)
An UID test failed (e.g. file owned by
different user)
A GID test failed (e.g. file owned by different
group)
A process' PID changed out of Monit control
A process' PPID changed out of Monit control
Too many service recovery attempts failed
A file content matched the pattern
Filesystem flags changed
A service action was performed by
administrator
Monit was started, stopped or reloaded

7. Appendix） List of possible event types
Event Failure State Success State
ACTION Action done Action done
CHECKSUM Checksum failed Checksum succeeded
CONNECTION Connection failed Connection succeeded
DATA Data access error Data access succeeded
EXEC Execution failed Execution succeeded
FSFLAGS FIlesystem flags failed Filesystem flags succeeded
UID/GID UID/GID failed UID/GID succeeded
ICMP ICMP failed ICMP succeeded
INSTANCE Monit instance changed Monit instance changed not
INVALID Invalid type Type succeeded
NONEXIST Does not exist Exists
PERMISSION Permission failed Permission succeeded
PID/PPID PID/PPID failed PID/PPID succeeded
RESOURCE Resource limit matched Resource limit succeeded
SIZE Size failed Size succeeded
STATUS Status failed Status succeeded
TIMEOUT Timeout Timeout recovery
TIMESTAMP Timestamp failed Timestamp succeeded
UPTIME Uptime failed Uptime succeeded

8. Control file
Control fileはmonitのDSLを用いて記述する。以下８つの構文をCheckで利用すること
ができる。あとでそれぞれ試してみて挙動を確認してみる。
1 check process <unique name> <PID File Path> | matching <regix>
2 check file <unique name> path <Path>
3 check fifo <unique name> path <Path>
4 check filesystem <unique name> path <Path>
5 check directory <unique name> path <Path>
6 check host <unique name> address <Host Address>
7 check system <unique name>
8 check program <unique name> path <exec_file> [timeout <number> seconds]

9. 例1）apacheプロセスの監視
localhostの80へのHTTPリクエストを行い、応答がなければhttpdのプロセスをリス
タートする処理をmonitを使って行う。
/etc/monit.d/apache
##監視対象のデーモンのpidファイルを指定
check process apache with pidfile /var/run/httpd/httpd.pid
#起動と停止のプログラムを指定
start program = "/etc/init.d/httpd start"
stop program = "/etc/init.d/apache2 stop"
if failed host localhost port 80
protocol HTTP request /keepalive.txt then restart
group apache

10. 確認
//monitを起動
$ sudo /etc/init.d/monit start
monit を起動中: [ OK ]
!
//httpdを停止し、monitで検知、monitがhttpdを起動することを確認する。
$ sudo /etc/init.d/httpd stop
httpd を停止中: [ OK ]
//httpdがないことを確認
$ ps -ef |grep [h]ttpd
!
[ec2-user@ip-172-31-38-39 monit.d]$ tail /var/log/monit
[EDT Jul 11 11:24:07] error : HTTP error: Server returned status 404
[EDT Jul 11 11:24:07] error : 'apache' failed protocol test [HTTP] at INET[localhost:80] via TCP
[EDT Jul 11 11:24:07] info : 'apache' trying to restart
[EDT Jul 11 11:24:07] info : 'apache' stop: /etc/init.d/httpd
[EDT Jul 11 11:24:08] info : 'apache' start: /etc/init.d/httpd
[EDT Jul 11 11:25:09] error : 'apache' process is not running <-httpdが起動してないことを検知
[EDT Jul 11 11:25:09] info : 'apache' trying to restart
[EDT Jul 11 11:25:09] info : 'apache' start: /etc/init.d/httpd <-httpdを起動している
!
[ec2-user@ip-172-31-38-39 monit.d]$ ps -ef |grep [h]ttpd
root 1621 1 0 11:25 ? 00:00:00 /usr/sbin/httpd
apache 1623 1621 0 11:25 ? 00:00:00 /usr/sbin/httpd
apache 1624 1621 0 11:25 ? 00:00:00 /usr/sbin/httpd
apache 1625 1621 0 11:25 ? 00:00:00 /usr/sbin/httpd
apache 1626 1621 0 11:25 ? 00:00:00 /usr/sbin/httpd
例1）apacheプロセスの監視

11. 例2）sshdプロセスの監視
sshdのプロセスを監視し、プロセスが落ちているときはプロセスを
再起動する。ただし、何かの不具合で何回も再起動が行われるのを
避けるため、３回の監視タイミングで２回再起動を行った場合、モ
ニタリングの対象から外す。
/etc/monit.d/sshd
##監視対象であるsshdのpidファイルを指定
check process sshd with pidfile /var/run/sshd.pid
##set daemonで指定した秒数 x every [num cycle]のタイミングで監視を実行
every 2 cycle
start program = "/etc/rc.d/init.d/sshd start"
stop program = "/etc/rc.d/init.d/sshd stop"
##再起動を試みる回数は２回。３回の監視タイミングで２回再起動したらモニタを停止
if 2 restarts within 3 cycles then unmonitor
group ssh

12. 確認
//sshdを停止
$ sudo /etc/init.d/sshd stop
sshd を停止中: [ OK ]
!
//接続できないことを確認
$ ./ssh-ec2 XXXX
ssh: connect to host XXXX port 22: Connection refused
!
//var/log/monitには以下が記載
[EDT Jul 12 11:42:43] error : 'sshd' process is not running
[EDT Jul 12 11:42:43] info : 'sshd' trying to restart
[EDT Jul 12 11:42:43] info : 'sshd' start: /etc/rc.d/init.d/sshd
!
//接続できるようになっていることを確認
$ ./ssh-ec2 XXXX
!
//2回続けてsshdを停止。モニタリングから外した旨のメッセージが出力されていることを確認。
[EDT Jul 12 11:52:20] error : 'sshd' service restarted 2 times within 2
cycles(s) - unmonitor
例2）sshdプロセスの監視

13. 例3）メモリ使用量の監視
プロセスの生存だけでなく、プロセスの使用しているメモリ使用量
をトリガーとして処理することも可能。アプリによってはメモリが
増え続けてしまうアプリがあるので、そういうアプリに対して、メ
モリの使用量を監視し、一定以上に増えた場合に再起動を行う。
/etc/monit.d/apache_mem
##監視対象のデーモンのpidファイルを指定
check process apache with pidfile /var/run/httpd/httpd.pid
#起動と停止のプログラムを指定
start program = "/etc/init.d/httpd start"
stop program = "/etc/init.d/apache2 stop”
##メモリ使用量が全体の5%を超えた時に再起動
if memory usage > 5% then restart
if 3 restarts within 3 cycles then stop
group apache

14. 例4）CPU使用率の監視
プロセスのCPU使用率ををトリガーとして処理することも可
能。CPUパワーを浪費しているものはアラートを上げるよう
にする。
/etc/monit.d/apache_cpu
##監視対象のデーモンのpidファイルを指定
check process apache with pidfile /var/run/httpd/httpd.pid
#起動と停止のプログラムを指定
start program = "/etc/init.d/httpd start"
stop program = "/etc/init.d/apache2 stop”
##CPU使用率が全体の60%を超えた時にアラートを上げる
if cpu usage > 60% then alert
group apache

15. 例5）ファイルの監視
/etc/apache2/conf/httpd.conf の内容が変更され
たら、httpdにその設定内容を反映させる。
/etc/monit.d/apache_conf
check file httpd.conf with path /etc/httpd/conf/httpd.conf
## チェックサムでファイルの変更をチェック
if changed checksum then exec "/etc/init.d/httpd graceful”
# タイムスタンプでファイルの変更をチェックする場合
## if changed timestamp then exec "/etc/init.d/apache2 graceful"