移动端菜单

MJ12bot蜘蛛是什么?禁止MJ12bot爬虫访问抓取网站内容

大唐营销老胡 2019-09-20 15:01:02 SEO诊断 阅读

导读:有很多垃圾蜘蛛会不断的访问网站,抓取网站内容,我们同样可以在robots.txt文件中屏蔽,让网站运营更健康。robots.txt文件非常重要,请谨慎操作robots.txt文件

搜索引擎蜘蛛爬虫抓取网站内容本身是好事,但是我们时常会发现一些不相关的蜘蛛,或者不是搜索引擎的蜘蛛大量抓取网站的内容,并且这些蜘蛛每天都访问网站,抓取网站内容,这个时候我们就需要针对性的做一些处理,防止造成不必要的资源浪费,这些指数是SEO优化要处理的对象。 《网站如何被百度收录

MJ12bot是什么蜘蛛爬虫?

MJ12bot蜘蛛原型:MJ12bot/v1.4.8; http://mj12bot.com/

MJ12bot蜘蛛版本:v1.4.8 (蜘蛛版本号会升级变化)

MJ12bot蜘蛛爬虫是来自英国一个注明的搜索引擎优化网站Majestic的蜘蛛爬虫程序,Majestic在SEO领域是一个非常不错的网站分析工具(收费的),我们做SEO经常自己网站外链数据及竞争对手网站外链数据,Majestic就是一个不错的外链分析工具。 《百度收录网站要多久

当然Majestic不仅仅可以分析网站外链,还有一些其他功能,这里笔者就不再详细介绍,后续在SEO工具频道会有Majestic的使用介绍。 《如何快速收录

MJ12bot蜘蛛是什么?禁止MJ12bot爬虫访问抓取网站内容

MJ12bot蜘蛛抓取www.datangyingxiao.com的日志记录

笔者之前写过一篇关于AhrefsBot蜘蛛的文章,并且屏蔽了AhrefsBot蜘蛛抓取网站内容,今天分析网站日志文件效果已经出来了,AhrefsBot蜘蛛抓取网站内容明显下降,但是依然还有小部分抓取(已经达到目的)。同样的MJ12bot蜘蛛每天抓取网站204个内容,对于我们来说MJ12bot蜘蛛抓取过多浪费资源,所以笔者打算屏蔽掉MJ12bot蜘蛛抓取网站。推荐阅读》AhrefsBot蜘蛛是什么?如何在robots中屏蔽禁止垃圾蜘蛛抓取

为什么要屏蔽MJ12bot蜘蛛抓取

禁止MJ12bot蜘蛛的原因

1、MJ12bot蜘蛛频繁抓取增加网站服务器负担

2、会对网站带来不确定性甚至安全隐患

3、对提升网站运营没有任何帮助(不增加流量,也不带来其他作用)

robots.txt中禁止MJ12bot蜘蛛抓取的方法

我们知道大部分蜘蛛都遵守robots.txt协议,同样的MJ12bot也遵循robots.txt标准,想要需屏蔽MJ12bot蜘蛛抓取,我们可以直接在 robots.txt 添加以下代码:

User-Agent: MJ12bot

Disallow: /

可以参考下图,或者是大唐营销老胡的robots.txt文件写作方法:http://www.datangyingxiao.com/robots.txt

robots.txt中屏蔽MJ12bot蜘蛛

robots.txt中屏蔽MJ12bot蜘蛛

写在最后,当然了还有很多垃圾蜘蛛会不断的访问网站,抓取网站内容,我们同样可以在robots.txt文件中屏蔽,让网站运营更健康。再次提醒一下大家,robots.txt文件非常重要,大部分主流搜索引擎都会遵守robots协议,请谨慎操作robots.txt文件,避免屏蔽重要的内容导致搜索引擎不抓取网站内容,从而造成流量损失。 《网站降权怎么恢复

欢迎大家观看大唐营销老胡录制的免费SEO视频教程,欢迎大家沟通交流及探讨。

SEO阅读推荐:
搜狗网站提交入口网址
友情链接的作用
如何选择域名
百度指数分析
关键词工具有哪些
根目录是什么意思
seo难学吗
百度快速收录
seo的前景
description是什么意思
 

文章作者: 大唐营销老胡
文章地址:http://www.datangyingxiao.com/seo/zhenduan/137.html
版权所有:转载时必须以链接形式注明作者和原始出处及本声明。

大唐营销老胡 大唐营销老胡微信二维码
栏目导航
最新文章
热门文章
热门标签