robots协议是什么,robots协议有什么用

网站中robots文件是必不可少的,合理的设置对网站优化也有至关重要的作用,今天我们就来介绍一下什么是robots协议,以及robots协议有什么用处。

robots协议

什么是robots协议

robots协议,也被称为爬虫协议,机器人协议,对网站来说,每一个网站都有一个robots文件在根目录,叫做robots.txt,这个文件的作用就是为了告诉搜索引擎蜘蛛那些页面可以抓取,那些页面不能被抓取。当搜索引擎蜘蛛来到我们网站后,也会第一时间爬取这个文件,看看我们网站是如何设置的, 然后在对网站进行抓取。

robots协议基本语法

User-agent: Baiduspider

表示的是允许百度蜘蛛抓取,最常见的形式都是User-agent: * 这个意思就是允许所有搜索引擎抓取

写法注意:首字母大写,冒号是英文状态,冒号后面需要一个空格

Disallow: /baidu

表示的意思是不允许抓取某个文件,

Allow: /baidu

表示允许抓取这个文件

还有常见的通配符,*

表示所用的文件,比如Disallow: /*.jpg 表示不允许抓取所有的jpg文件

结束符$ 

Disallow:/?$网站所有以?结尾的文件被禁止。

声明:有的资源均来自网络转载,版权归原作者所有,如有侵犯到您的权益 请联系邮箱:1608196816@qq.com 我们将配合处理!

原文地址:robots协议是什么,robots协议有什么用

相关推荐

设置robots禁止搜索引擎收录但是没有效果

2020-05-17 12:22:37 293
记录一次设置robots禁止搜索引擎收录但是没有效果。我买了一个域名,在服务器上搭建好了网站,直接就绑定了,因为是新站,一点内容都没有,所以我想在robots设置了User-agent:/这个标签的作

robots协议是什么,robots协议有什么用

2020-05-17 11:40:24 367
网站中robots文件是必不可少的,合理的设置对网站优化也有至关重要的作用,今天我们就来介绍一下什么是robots协议,以及robots协议有什么用处。什么是robots协议robots协议,也被称为