Crawl-delay: 100 的访问频度：Yahoo! Slurp比一般引擎高4-5倍
Yahoo Slurp 95899+234 415.40 M字节 2007年 9 月 30日 23:58
Yahoo! Slurp China 81349+165 479.04 M字节 2007年 9 月 30日 23:59
Googlebot 17741+518 96.31 M字节 2007年 9 月 30日 23:47
Crawl-delay: 1000 的访问频度： Slurp已经恢复到和其他引擎相同水平
Googlebot 22448+413 196.22 M字节 2007年 11月 21日 23:53
Yahoo! Slurp China 15881+192 116.92 M字节 2007年 11月 21日 23:57
Yahoo Slurp 10661+155 98.77 M字节 2007年 11月 21日 23:59
参考文档：
如何控制Yahoo! Slurp蜘蛛的抓取频度
版权声明：可以转载，转载时请务必以超链接形式标明文章 控制Yahoo!Slurp China蜘蛛的访问频度 Crawl-delay: 1000 的效果 的原始出处和作者信息及本版权声明。
http://www.chedong.com/blog/archives/001399.html
Comments
现在一般站点的访问量中，蜘蛛的访问占比高达60～80%。这简直有点垃圾邮件那类特性了？
由: fisher 发表于 2007年11月30日 上午11时26分
Googlebot似乎不支持Crawl-delay？
由: xingxing 发表于 2007年12月02日 下午12时18分