Twiceler という新たなロボットがやって来た． 6/2に起きてメールを読むと，fail2banからの遮断報告メールがどっさり．アクセスログを調べると，Twiceler という新たなロボット（クローラー）が原因のようです．User-Agent文字列は以下の通り．

Mozilla/5.0 (Twiceler-0.9 http://www.cuill.com/twiceler/robot.html)

User-Agent内に書かれたURLにアクセスしても以下のように書かれているだけ（適宜改行を入れました）．

Twiceler is an experimental robot.
Please contact costello@cs.stanford.edu 
if you have any problems.

Twiceler should obey robots.txt.

emailアドレスから調べると，確かにスタンフォード大学にその人は在籍しているようである． ただ，実験の目的も良く解らないし実験に協力する義理も無い．さらに迷惑も被っているので遮断することにした． とりあえず，robots.txtに以下のように書いてみた．

User-agent: Twiceler
Disallow: /

それとUser-agentでTwicelerを名乗るものは弾きました．

SetEnvIf User-Agent Twiceler badrobot

上記設定を加え，apacheをreloadしました．DoS攻撃/DoSアタック対策 : User-agent によるアクセス制御/アクセス拒否参照． 2007/6/4追記： 良く考えたらUAで遮断しているので，当該クローラはrobots.txtにもアクセスできない．