robots协议是什么,robots协议有什么用

网站中robots文件是必不可少的，合理的设置对网站优化也有至关重要的作用，今天我们就来介绍一下什么是robots协议，以及robots协议有什么用处。

什么是robots协议

robots协议，也被称为爬虫协议，机器人协议，对网站来说，每一个网站都有一个robots文件在根目录，叫做robots.txt，这个文件的作用就是为了告诉搜索引擎蜘蛛那些页面可以抓取，那些页面不能被抓取。当搜索引擎蜘蛛来到我们网站后，也会第一时间爬取这个文件，看看我们网站是如何设置的， 然后在对网站进行抓取。

robots协议基本语法

User-agent: Baiduspider

表示的是允许百度蜘蛛抓取，最常见的形式都是User-agent: * 这个意思就是允许所有搜索引擎抓取

写法注意：首字母大写，冒号是英文状态，冒号后面需要一个空格

Disallow: /baidu

表示的意思是不允许抓取某个文件，

Allow: /baidu

表示允许抓取这个文件

还有常见的通配符，*

表示所用的文件，比如Disallow: /*.jpg 表示不允许抓取所有的jpg文件

结束符$ 

Disallow:/?$网站所有以?结尾的文件被禁止。