移动端菜单

DotBot是什么蜘蛛爬虫?如何禁止DotBot抓取

大唐营销老胡 2019-09-24 10:08:00 SEO诊断 阅读

导读:DotBot是Moz的网络爬虫程序,Moz旗下链接分析网站opensiteexplorer专门用来分析网站外链数据,BotBot蜘蛛爬虫就是为Moz服务

DotBot是什么蜘蛛爬虫

DotBot是Moz的网络爬虫程序,Moz旗下链接分析网站opensiteexplorer专门用来分析网站SEO外链数据,BotBot蜘蛛爬虫就是为Moz服务,在互联网上抓取大量的网页进行各种数据分析。

如果我们不希望Dotbot抓取自己的网站,可以使用robots.txt进行评比。DotBot遵robots.txt协议。

DotBot蜘蛛爬虫原型

Moz蜘蛛爬虫UA:"Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)"

网站如何禁止DotBot抓取

在我们的网站根目录中的robots.txt文件中写上如下代码:

User-Agent: DotBot

Disallow: /

robots.txt中屏蔽DotBot蜘蛛抓取网站内容
robots.txt中屏蔽DotBot蜘蛛抓取网站

以上代码是屏蔽DotBot蜘蛛抓取网站所有内容。当然不一定非要屏蔽DotBot蜘蛛,根据自己网站情况来判断是否要屏蔽DotBot。

相关内容推荐:

搜索引擎蜘蛛大全
MJ12bot蜘蛛是什么
搜狗网站提交入口网址
AhrefsBot蜘蛛是什么
SemrushBot是什么蜘蛛程序
如何进行关键词分析
网站大量死链接404错误处理方法
seo怎么学
网站提交入口
学SEO好找工作吗
全球搜索引擎排名

文章作者: 大唐营销老胡
文章地址:http://www.datangyingxiao.com/seo/zhenduan/140.html
版权所有:转载时必须以链接形式注明作者和原始出处及本声明。

大唐营销老胡 大唐营销老胡微信二维码
栏目导航
最新文章
热门文章
热门标签