Twiceler というロボット(クローラー) stanford製(?)
 2007.06.02

Twiceler という新たなロボットがやって来た. 6/2に起きてメールを読むと,fail2banからの遮断報告メールがどっさり.アクセスログを調べると,Twiceler という新たなロボット(クローラー)が原因のようです.User-Agent文字列は以下の通り.
Mozilla/5.0 (Twiceler-0.9 http://www.cuill.com/twiceler/robot.html)
User-Agent内に書かれたURLにアクセスしても以下のように書かれているだけ(適宜改行を入れました).
Twiceler is an experimental robot.
Please contact costello@cs.stanford.edu 
if you have any problems.

Twiceler should obey robots.txt.
emailアドレスから調べると,確かにスタンフォード大学にその人は在籍しているようである. ただ,実験の目的も良く解らないし実験に協力する義理も無い.さらに迷惑も被っているので遮断することにした. とりあえず,robots.txtに以下のように書いてみた.
User-agent: Twiceler
Disallow: /
それとUser-agentでTwicelerを名乗るものは弾きました.
SetEnvIf User-Agent Twiceler badrobot
上記設定を加え,apacheをreloadしました.DoS攻撃/DoSアタック対策 : User-agent によるアクセス制御/アクセス拒否参照. 2007/6/4追記: 良く考えたらUAで遮断しているので,当該クローラはrobots.txtにもアクセスできない.
カテゴリー:技術情報メモ