移动端菜单

常见的搜索引擎蜘蛛及网站蜘蛛抓取大全

大唐营销老胡 2019-09-23 11:39:12 SEO诊断 阅读

导读:网站日志分析是我们优化人员必须要掌握的技能,并且网站优化很多疑难杂症都是靠分析网站日志找到的问题。有事没事分析分析网站日志只有好处没有坏处。

网站日志分析是SEOer必须要掌握的技能,并且网站优化很多疑难杂症都是靠分析网站日志找到的问题。有事没事分析分析网站日志只有好处没有坏处。大唐营销老胡借此文章记录一下经常抓取网站的一些日志,方便笔者自己及大家参考。(ps:一下蜘蛛都是真实来过笔者网站抓取的蜘蛛,笔者日常通过日志分析更新在此处)

常见的搜索引擎蜘蛛及网站蜘蛛抓取大全
常见的搜索引擎蜘蛛及网站蜘蛛抓取大全

常见的搜索引擎蜘蛛大全

百度蜘蛛

百度蜘蛛:Baiduspider

百度蜘蛛爬虫UA:"Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

百度其他蜘蛛:Baiduspider-render/2.0

PC端:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

移动端:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

百度图片蜘蛛:Baiduspider-image

百度其他蜘蛛:"Baiduspider+(+http://www.baidu.com/search/spider.htm)"

图片:“Baiduspider-image+(+http://www.baidu.com/search/spider.htm)”

百度搜索其他不常见蜘蛛:Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)、Baiduspider-mobile(抓取wap)

PS:百度还有很多蜘蛛,比如广告联盟蜘蛛。

谷歌蜘蛛(Google)

Google蜘蛛:Googlebot

Google蜘蛛爬虫UA:"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Google图片蜘蛛:“Googlebot-Image/1.0”

搜狗蜘蛛

搜狗蜘蛛:Sogou web spider

搜狗蜘蛛爬虫UA:Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

360蜘蛛

360蜘蛛:360Spider

360蜘蛛爬虫UA:"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36; 360Spider"

Bing蜘蛛

Bing蜘蛛:bingbot

Bing蜘蛛爬虫UA:"Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

神马搜索蜘蛛

神马搜索蜘蛛:YisouSpider

神马搜索蜘蛛爬虫UA:"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36"

其他抓取网站内容的蜘蛛

Yandex蜘蛛:YandexBot

Yandex是俄罗斯本地的搜索引擎公司,并且在俄罗斯本地的市场份额已远超俄罗斯Google,和百度有些类似的感觉。

Yandex蜘蛛爬虫UA:"Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"

Ahrefs蜘蛛:AhrefsBot

Ahrefs是一个国外SEO工具,通常使用Ahrefs分析网站及网站外链。

Ahrefs蜘蛛爬虫UA:"Mozilla/5.0 (compatible; AhrefsBot/6.1; +http://ahrefs.com/robot/)"

semrush蜘蛛:SemrushBot

semrush是一个国外网站分析工具,可以分析网站流量,网站竞价,网站SEO数据,网站外链等等。

"Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)"

Majestic蜘蛛:MJ12bot

Majestic是国外一个SEO分析工具,一个不错的外链分析工具,笔者也常常使用。

Majestic蜘蛛爬虫UA:"Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)"
 

Moz蜘蛛:DotBot

Moz是国外著名的SEO工具网站,Moz旗下的链接分析网站opensiteexplorer专门用来分析网站外链,DotBot蜘蛛就是为其抓取网络资源的蜘蛛

Moz蜘蛛爬虫UA:"Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)"

其他蜘蛛:Bytespider

据说是字节跳动(今日头条)的蜘蛛,今日头条2019年开始布局搜索市场

蜘蛛UA:"Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.3381.1163 Mobile Safari/537.36; Bytespider"

笔者博客蜘蛛数量有限,暂时收集到这些蜘蛛,之后会不定期更新抓取网站的蜘蛛。 感谢大家观看笔者的文章,如有疑惑,欢迎探讨闲篇。

相关内容推荐阅读:
MJ12bot蜘蛛是什么
搜狗收录提交申请
AhrefsBot蜘蛛是什么
AhrefsBot蜘蛛是什么
各大搜索引擎提交入口
百度快速收录
全球搜索引擎排名
网站如何被百度收录
百度收录网站要多久

文章作者: 大唐营销老胡
文章地址:http://www.datangyingxiao.com/seo/zhenduan/138.html
版权所有:转载时必须以链接形式注明作者和原始出处及本声明。

大唐营销老胡 大唐营销老胡微信二维码
栏目导航
最新文章
热门文章
热门标签