网站中robots文件是必不可少的，合理的设置对网站优化也有至关重要的作用，今天我们就来介绍一下什么是robots协议，以及robots协议有什么用处。
什么是robots协议
robots协议，也被称为爬虫协议，机器人协议，对网站来说，每一个网站都有一个robots文件在根目录，叫做robots.txt，这个文件的作用就是为了告诉搜索引擎蜘蛛那些页面可以抓取，那些页面不能被抓取。当搜索引擎蜘蛛来到我们网站后，也会第一时间爬取这个文件，看看我们网站是如何设置的， 然后在对网站进行抓取。
robots协议基本语法
User-agent: Baiduspider
表示的是允许百度蜘蛛抓取，最常见的形式都是User-agent: * 这个意思就是允许所有搜索引擎抓取
写法注意：首字母大写，冒号是英文状态，冒号后面需要一个空格
Disallow: /baidu
表示的意思是不允许抓取某个文件，
Allow: /baidu
表示允许抓取这个文件
还有常见的通配符，*
表示所用的文件，比如Disallow: /*.jpg 表示不允许抓取所有的jpg文件
结束符$
Disallow:/?$网站所有以?结尾的文件被禁止。