07/3/29の0:00から23:59までのデータ。
| エンジン | クロール回数 | User-Agent |
|---|---|---|
| 百度(CN) | 101 | "Baiduspider+(+http://www.baidu.com/search/spider_jp.html)" |
| MSN(US) | 52 | "msnbot/1.0 (+http://search.msn.com/msnbot.htm)" |
| Google(US) | 40 | "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "Mediapartners-Google/2.1" |
| Yahoo!(US) | 28 | "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)" "Y!J-BSC/1.0 (http://help.yahoo.co.jp/help/jp/blog-search/)" |
| はてな(JP) | 12 | "Hatena Antenna/0.5 (http://a.hatena.ne.jp/help)" |
とりあえずBaiduspider+はBANな。前ほどひどいことはしてないが回数大杉。
しばらく前にこういう記事があった。
スラッシュドット ジャパン | 中国産検索エンジン「百度」が日本語検索サービスを開始
で、昔あれだけ反感を買った百度は今回どのようなクロールをするのかと思ったら、MSNやGoogleの倍と、前回と似たような感じなのでBANの方向で。
今回は、ちゃんとrobots.txtにしたがってクロールを行うと宣言しているのでrobots.txt設定してしばらく様子見。


最近のコメント