Twiceler

本主题由 hgta 创建于 2009-9-22 15:50:20

twiceler

说明

  twiceler是一个爬虫程序,据说是美国斯坦福大学研究搜索引擎的一个学生项目。


爬虫信息

  爬虫名称:Twiceler
  HTTP User Agent:
  Mozilla/5.0 (Twiceler-0.9 http://www.cuill.com/twiceler/robot.html")
  抓取强度:高
  推广效果:未知
  来访IP:38.99.13.122 64.1.215.164 (均为美国IP)


禁止twiceler访问

  twiceler是一个中低强度的爬虫,遵循robots.txt爬行标准。如果你觉得它占用了服务器资源,可以屏蔽这个爬虫。方法为在服务器上的网站根目录建立robots.txt,包含以下内容:
  User-agent: twiceler Disallow: /
  上面在全站之内禁止twiceler爬行。或者禁止爬行某个目录:
  User-agent: twiceler Disallow: /somedir/

放心注册,GeeKaa不会虚耗你半点时间,你只会发现更多乐趣。 立即注册