移动端菜单

robots.txt是什么协议?

大唐营销老胡 2019-08-27 09:55:36 SEO术语 阅读

导读:robots.txt文件用于限制及引导搜索引擎蜘蛛对网站页面的访问和抓取。目前大部分主流搜索引擎都支持robots.txt协议

名词:robots.txt

解释:robots.txt是一个纯文本的文件,在SEO工作中robots.txt文件经常被使用到。robots.txt文件用于限制及引导搜索引擎蜘蛛对网站页面的访问和抓取。目前大部分主流搜索引擎都支持robots.txt协议,每当搜索引擎蜘蛛访问网站的时候,首先会访问网站中的robots.txt文件,搜索引擎蜘蛛会严格遵守robots.txt协议。robots.txt文件放置在网站根目录下面。

在搜索引擎优化中,我们常常使用robots.txt协议引导搜索引擎蜘蛛抓取网站页面,网站中某些不重要或者不希望搜索引擎蜘蛛抓取的页面我们会进行限制。


相关内容推荐阅读:

学SEO好找工作吗
全球搜索引擎排名
seo作用是什么
seo发展前景
网站如何被百度收录
什么是搜索引擎推广
seo怎么赚钱
百度新站收录
学seo有前途吗
seo站外优化
如何快速收录
如何检查网站死链

文章作者: 大唐营销老胡
文章地址:http://www.datangyingxiao.com/zl/shuyu/105.html
版权所有:转载时必须以链接形式注明作者和原始出处及本声明。

网络营销相关内容推荐
大唐营销老胡 大唐营销老胡微信二维码
栏目导航
最新文章
热门文章
热门标签