今天查看服务器日志，发现有http://www.opensiteexplorer.org/dotbot  蜘蛛链接，百度了一下是DotBot 

DotBot 是由 Moz 的蜘蛛爬虫抓取的，如果不想让它来抓取的话，可以用 robots 文件禁止抓取。

 
Moz 是什么网站？
Moz 是来自美国的一个软件开发公司，由 Rand Fishkin 和 Gillian Muessig 创立于 2004 年，现总部位于华盛顿州西雅图市。起初，该公司是一个咨询公司，于 2010 年转型为软件开发公司，其官方网站上有一个在线社区和一些与营销有关的工具。此外，在 SEO 工具箱这页中还有包括术语提取器（Term Extractor）等在内的多个 SEO 工具。
 
如何阻止 Dotbot 爬行你的网站
如果您不希望 Dotbot 抓取您的网站，我们始终尊重标准机器人排除协议（aka robots.txt）。如果您想阻止 Dotbot，您需要做的就是将我们的用户代理字符串添加到您的 robots.txt 文件中。
 
从您网站的某些区域阻止 Dotbot
User-agent: dotbot
Disallow: /admin/
Disallow: /scripts/
Disallow: /images/
 
从您网站的任何部分阻止 Dotbot
User-agent: dotbot
Disallow: /
 
延迟 Dotbot 下载
User-agent: dotbot
Crawl-delay: 10
请注意：由于 Dotbot 抓取网络的方式，您需要一些时间才能使更新的 robots.txt 文件生效。我们需要大约两周时间才能完成索引发布，而 Dotbot 只会在新索引抓取期间第一次遇到该网站时查看您网页的 robots.txt 文件。这意味着如果它看到它在网站上被允许一次，那么在下次开始全新抓取之前，不会查看对该权限的任何更改。