移动端菜单

AhrefsBot蜘蛛是什么?如何在robots中屏蔽禁止垃圾蜘蛛抓取

大唐营销老胡 2019-09-18 10:09:38 SEO诊断 阅读

导读:AhrefsBot蜘蛛是来自国外著名链接分析工具Ahrefs网站的抓取蜘蛛,Ahrefs使用AhrefsBot蜘蛛抓取互联网网页,并分析网站中的链接关系,然后提供网站外链查询服务(收费挺贵的)。

笔者最近分析网站日志的时候发现网站中有很多AhrefsBot/6.1蜘蛛抓取网站的痕迹,对于新手可能不知道AhrefsBot蜘蛛是什么,今天大唐营销老胡告诉大家如何处理类似AhrefsBot这类鸡肋蜘蛛。 》》 搜索引擎提交入口

AhrefsBot蜘蛛是什么

AhrefsBot原型:AhrefsBot/6.1; +http://ahrefs.com/robot/

AhrefsBot蜘蛛是来自国外著名链接分析工具Ahrefs网站的抓取蜘蛛,Ahrefs使用AhrefsBot蜘蛛抓取互联网网页,并分析网站中的链接关系,然后提供网站外链查询服务(收费挺贵的)。 》》 百度快速收录

AhrefsBot蜘蛛是什么?如何在robots中屏蔽禁止垃圾蜘蛛抓取
AhrefsBot蜘蛛抓取www.datangyingxiao.com的日志记录

上图为大唐营销老胡官网AhrefsBot蜘蛛抓取痕迹,我们可以看到AhrefsBot蜘蛛单日抓取了701个网页,对于笔者的博客型网站来说还是非常浪费资源的,笔者不希望AhrefsBot蜘蛛继续抓取我的网站,因为除了分析别人的外链,对自己的网站没有一丁点帮助,所以直接禁止AhrefsBot抓取。》》 全球搜索引擎排名

为什么要禁止AhrefsBot蜘蛛的抓取

禁止AhrefsBot蜘蛛的原因

1、Ahrefs对自己网站没有任何帮助,既不带来流量,也不带来推荐。

2、AhrefsBot蜘蛛占用网站资源,AhrefsBot蜘蛛访问多了会无形中占用用户访问、其他蜘蛛访问的资源。

3、Ahrefs即使可以分析外链,抓取自己网站页面也是为别人分析外链提供方便,对自己网站分析外链并没有帮助。》》 网站如何被百度收录

如何在robots中屏蔽禁止AhrefsBot蜘蛛抓取

第一步、在网站根目录中找到robots.txt文件

第二步、下载robots.txt到本地

第三步、在robots.txt文件中写入以下代码

禁止AhrefsBot蜘蛛抓取代码:

User-Agent: AhrefsBot

Disallow: /

第四步、上传robots.txt到网站根目录

robots.txt参考地址:http://www.datangyingxiao.com/robots.txt

 

robots.txt中屏蔽MJ12bot蜘蛛

robots.txt中屏蔽AhrefsBot蜘蛛效果图

 


推荐继续阅读其他蜘蛛屏蔽:MJ12bot蜘蛛是什么?禁止MJ12bot爬虫访问抓取网站内容

ps:如果有其他不知名,或者垃圾蜘蛛频繁抓取网站,也可以按照上面的方法屏蔽掉该蜘蛛(当然,如果蜘蛛不遵守robots.txt协议,那就得从新想办法)。把User-Agent: AhrefsBot中的AhrefsBot换成其他蜘蛛名称。》》 百度快照不更新

以上是大唐营销老胡为大家带来的关于AhrefsBot蜘蛛的话题,欢迎观看笔者录制的免费SEO教程
 

效果反馈:

2019年09月18日笔者在robots.txt文件中屏蔽了AhrefsBot蜘蛛抓取网站内容,目前来看效果已经有了明显提升,笔者把2019年09月19日的网站日志AhrefsBot蜘蛛抓取数量分享出来,AhrefsBot蜘蛛抓取明显减少,但是还有少量抓取(2019年09月19日AhrefsBot蜘蛛共抓取了5个页面,没屏蔽之前当前抓取701个内容页面),总之已经达到我们想要的目的,不让AhrefsBot蜘蛛继续抓取网站内容。

AhrefsBot蜘蛛抓取网站内容明显变少
AhrefsBot蜘蛛抓取网站内容明显变少




相关SEO文章推荐:
百度收录网站要多久
百度seo关键词优化
seo外链怎么发布
搜索引擎优化难学吗
搜索引擎优化有哪些方法
百度指数免费添加
网站降权怎么恢复
sem和seo区别
python实现统计网站文章收录率及收录情况

文章作者: 大唐营销老胡
文章地址:http://www.datangyingxiao.com/seo/zhenduan/135.html
版权所有:转载时必须以链接形式注明作者和原始出处及本声明。

大唐营销老胡 大唐营销老胡微信二维码
栏目导航
最新文章
热门文章
热门标签