阿里云的服务器今日网站出现大量的 AhrefsBot访问，其useragent为"Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)"。

 

AhrefsBot是什么

AhrefsBot是一个国外的搜索引擎蜘蛛。不过对你的网站来说除了浪费资源外，没有任何好处。

简单说，AhrefsBot是一个营销网站的爬取蜘蛛，负责分析你网站的链接信息，这个工具对于国内用户来说，有luan用。

详细的介绍你可以查看他们官网的英文解释。https://ahrefs.com/robot

 该网站是一个国外的但是有中文版，打开中文版显示如上图。其介绍为“增加您的搜索流量的工具，研究您的竞争对手并监控您的利基市场。Ahrefs会帮助你去研究为什么你的竞争对手排名这么高，以及你需要采取什么行动来超越他们。”  所以应该明白他是做什么的了吧。如果不需要我们可以屏蔽。他的ip地址还是很多的所以建议用robots.txt屏蔽。屏蔽代码为：

 官方公布的AhrefsBot爬虫IP段如下：

 54.36.148.0/24

54.36.149.0/24

54.36.150.0/24

 

195.154.122.0/24

195.154.123.0/24

195.154.126.0/24

195.154.127.0/24

 

直接封AhrefsBot ip段

被AhrefsBot蜘蛛爬取的站服务器用的阿里云，阿里云后台有安全组可以使用，所以直接屏蔽AhrefsBot的IP段，是最简单粗暴，效果立竿见影的方法。

 进入阿里云后台，进入你的服务器列表，点击服务器的安全组，配置安全组规则。

 

 

 

 

按照上图的方法配置，把下面这些ip段全部添加进去就行了。

使用robots.txt封禁

通常来说，只要是遵循robots规则的蜘蛛或者爬虫，都可以使用robots.txt来禁止它爬取。AhrefsBot官方也说遵守这个规则，不过实际上是如果你不是一开始就添加了这个规则，你都不知道它蜘蛛什么时候才会重新爬取你的robots.txt文件来修改抓取规则。

所以暴力点，直接封IP比较快。如果要添加，规则如下：

User-agent: AhrefsBot

Disallow: /

 

AhrefsBot的IP段

通过对一天的网站日志进行分析，你们猜猜一共有多少个不同的AhrefsBot蜘蛛ip来抓取网站数据？

 ahrefs.com/robot

54.36.150.145

54.36.150.133

54.36.150.111

54.36.150.87

54.36.150.75

54.36.150.49

54.36.150.36

54.36.150.22

54.36.150.27

 

54.36.150.109

54.36.150.92

54.36.149.106

54.36.148.228

54.36.148.212

54.36.148.176

54.36.148.179

54.36.148.163

54.36.148.155

54.36.148.128

54.36.148.105

54.36.148.59

54.36.148.56

54.36.148.60

54.36.148.30

54.36.148.15

54.36.149.76

54.36.148.180

54.36.150.103

54.36.148.44

54.36.150.93

54.36.150.30

54.36.148.221

54.36.150.139

54.36.148.196

54.36.150.166

54.36.149.58

54.36.150.143

54.36.150.168

54.36.148.238

54.36.150.72

54.36.149.93

54.36.148.37

54.36.148.124

54.36.148.40

54.36.150.140

54.36.149.89

54.36.149.103

54.36.149.45

54.36.150.79

54.36.150.183

54.36.148.175

54.36.149.33

54.36.149.28

54.36.149.72

54.36.148.26

54.36.148.195

54.36.149.76

54.36.150.101

54.36.148.2

54.36.150.84

54.36.150.136

54.36.149.23

54.36.150.8

54.36.148.76

54.36.149.61

54.36.150.149

 

54.36.150.97

54.36.150.15

54.36.150.165

54.36.148.160

54.36.150.119

54.36.148.3

54.36.150.121

54.36.148.57

54.36.150.34

54.36.150.70

 54.36.150.116

54.36.148.77

54.36.150.177

 54.36.150.65

54.36.149.66

54.36.150.19

54.36.148.242

54.36.150.68

54.36.149.11

54.36.148.136

54.36.149.2

54.36.148.73

54.36.148.147

54.36.150.146

54.36.148.75

54.36.150.173

54.36.150.176

54.36.150.110

54.36.150.20

54.36.150.74

54.36.149.59

54.36.150.95

54.36.150.54

54.36.150.126

54.36.148.145

54.36.148.130

54.36.149.104

54.36.148.108

54.36.150.67

54.36.150.159

54.36.150.86

54.36.148.84

54.36.148.248

54.36.149.60

54.36.149.6

 54.36.150.58 

54.36.150.78

54.36.148.153

54.36.148.237

54.36.150.118

54.36.148.152

54.36.148.123

54.36.150.150

54.36.148.46

54.36.150.117

54.36.150.56

54.36.148.33

54.36.148.86

54.36.150.32

54.36.150.164

54.36.150.61

54.36.148.89

54.36.148.200

54.36.150.35

54.36.149.7

 

 

 

 

 

151.80.39.219 

151.80.39.219

 

151.80.39.228

151.80.39.56

151.80.39.69

151.80.39.64

151.80.39.82

5.196.87.123

搜索引擎蜘蛛爬虫名称最新整理总汇