最近、自分の運営するWEBサイトのアクセスカウンターの数値と、そのサイトに設置しているアクセス解析の数値が乖離気味なので、不審に思いサイトのアクセスログを久しぶりに開いてみました。
すると、異常なアクセスが一つ。
super-goo.com が日に、300~500件ほどアクセスしています。
hostは、
hk2-lr680005g.super-goo.com
hk2-lr680091g.super-goo.com
調べると、goo社の携帯向け検索ロボットだとか。
http://help.goo.ne.jp/help/article/1142
.htacessで、このhost自体をアクセス拒否することも可能なのですが、検索ロボットということでアクセス拒否するか少し迷います。
googleなどからもロボットは来るのですが、それは、日に30件ほど。super-goo.comは、その10倍以上です。もう少し様子を見て、これ以上、巡回がきたらアクセス拒否にした方が良いかな。
ピンバック: pc.casey.jp » super-goo.com クローラーのrobots.txt による拒否や調整