読者です 読者をやめる 読者になる 読者になる

日頃の行い

個人的な日頃の行いをつらつら書いてます\\\\ ٩( 'ω' )و ////

mackerelを利用してhubotが死んだ時に気がつくようにした

リレーブログ 入門

趣味でhubotいじったりしてるんですが、たまに死んでる時があります。
Slackでコマンド打って何も返ってこないと切なくなるので、
死んだ時に死んでしまうとは情けないと言えるようにしたいというのが今回の目的です。

突然の死の原因

ログを見るとこんな感じで突然の死を遂げているようです。
接続エラーでリトライしてもダメなときにclientを止めているように見えます。

[Sun Jun 14 2015 03:58:52 GMT+0900 (JST)] INFO Connecting...
[Sun Jun 14 2015 03:58:54 GMT+0900 (JST)] INFO Logged in as dark of ngineerxiv, but not yet connected
[Sun Jun 14 2015 03:58:55 GMT+0900 (JST)] INFO Slack client now connected
[Sun Jun 14 2015 14:25:38 GMT+0900 (JST)] ERROR Last pong is too old: 14.823
[Sun Jun 14 2015 14:25:38 GMT+0900 (JST)] INFO Reconnecting in 1000ms
[Sun Jun 14 2015 14:25:39 GMT+0900 (JST)] INFO Attempting reconnect
[Sun Jun 14 2015 14:25:39 GMT+0900 (JST)] INFO Connecting...
[Sun Jun 14 2015 14:25:41 GMT+0900 (JST)] INFO Slack client closed

これだけだとよくわからない。
(原因ご存知のかたコメント頂きたいです・・・(´・ω・`))
とりあえず再起動すればなんとかなるので、プロセスが死んだことに気がつけるようにします。

そこでmackerelですよ

mackerel.io

他の手段もありそうですが、とりあえず触ってみたかったのでmackerelを使ってみました。
特に他の何かと比較したとかありません。
mackerelにはデフォルトのメトリックがいくつか用意されていますが、今回はカスタムメトリックを利用します。
※メトリクスとも言いますが、mackerelではメトリックで統一しているらしいですね。 用語集 - Mackerel ヘルプ

こちらのメトリックで監視している値が、ある閾値を超えたらアラートを投げるという設定をすることにしました。
2015/06/23現在、Slackへの通知が可能ということなので、
hubotのプロセスが止まっていたらSlackに通知するということをすることにします。

Slackへの通知設定

もう下記ヘルプで解決です←
Incoming hookを利用して、通知してくれるみたいですね。

help-ja.mackerel.io

アラートの条件設定

とりあえず、プロセス数が1未満だとアラートみたいな設定をしました。
この時下記の記事を参考にしています。

tech.im-dmp.net

help-ja.mackerel.io

設定はこんな感じ
ps aux|grep ...|wc -l を利用してプロセス数をechoしています。
ゴリ押しですねw

# Configure
...

[plugin.metrics.dark-ngineerxiv]
command = "echo \"dark.ngineerxiv\t$(ps aux | grep dark|grep make|grep ngineerxiv| grep -v grep | wc -l)\t$(date -u +%s)\""

...


設定したらmackerel-agent serviceを再起動します。
そうすれば数分後に下記のようなグラフがmackerelの自分のページに表示されるはずです。

f:id:arata3da4:20150623003900p:plain

さらにアラートの設定を下記のようにすれば設定完了です。

f:id:arata3da4:20150623004329p:plain

アラートが流れた時の挙動とまとめ

もしhubotが死んだ時こんな投稿がSlackに投稿されます。

f:id:arata3da4:20150623004510p:plain

これでhubotが死んだ時にちゃんと気がつけますね。
dark poem と打つと
オサレなポエムを返してくれるようにしているのですが
返してくれないと本当に悲しくなるので活用していきたいと思います。

この他にも実はtd-agentとかの監視にも使ってますが、その話はまた今度。