Webサイトを運用しているとアタックや如何わしいアクセスを調べたいときがあります。簡単にHTTPサーバのアクセスログから短い間隔で大量にアクセスしているホストを、諸々のコマンドで操作するのは面倒なので、簡単に検出できるツールがあると便利です。
探してみたところ簡単に扱えそうなものがなかったので、Rubyベースで作ってみました。
Detect HTTP Attack
https://github.com/tilfin/detect-http-attack
Ruby 1.9 系で動きます。依存するライブラリはないので、直ぐにコマンドラインで実行できます。標準入出力で処理しているのシェルのパイプラインに組み合わせることができます。
準備
1 | $ git clone https://github.com/tilfin/detect-http-attack.git |
対応するログフォーマット
- Apache, Nginx Combined Log (Common Logもそのまま無いフィールドが空になる)
- LTSV format （引数に -ltsv を付加） http://ltsv.org/
使い方
引数で検出する最大のアクセス間隔（秒）と、その間隔で連続した回数を引数で渡すと、それに適合するアクセスを標準出力します。
例えば、2秒以内の間隔で5回以上連続でアクセスがあった場合を検出するときは次のようにします。（デフォルトは3秒以内の間隔で8回以上連続で検出）
1 | ./detect-http-attack.rb -s 2 -i 5 < /var/log/apache/access_log |
通常は、ホストごとにブロックで出力しますが、-n フラグを付けると標準エラーに検出したアクセス毎に出力します。ターミナルで下記のように実行すれば、検出したアタックを適宜表示しつつ、まとめた結果をファイルに書き出すことができます。
1 | $ tail -f /var/log/nginx/access.log | ./detect-http-attack.rb -n > /tmp/detect.log |
設定
detect_http_attack.conf で設定します。判定から除外するアクセスは、ホストとURLパスそしてユーザーエージェント(User-Agent)を条件に指定できます。
1 | # Excluded hosts (comma-separated) |
ホストはカンマ区切りのリストで、ユーザーエージェントとパスは正規表現のマッチになります。
出力フォーマットに関してもこのファイルでテンプレートを設定できます。head, body, foot の3つで１アタックのログを構成しています。serr で -n フラグ指定時の通知用フォーマットを定義できます。
とりあえず自分で使うには十分なところまで来たので公開しました。LTSVは流行に乗って対応（出力をLTSVにするときの設定もconfにコメントアウトしてあります。）
