robots协议是什么,robots协议有什么用
网站中robots文件是必不可少的,合理的设置对网站优化也有至关重要的作用,今天我们就来介绍一下什么是robots协议,以及robots协议有什么用处。
什么是robots协议
robots协议,也被称为爬虫协议,机器人协议,对网站来说,每一个网站都有一个robots文件在根目录,叫做robots.txt,这个文件的作用就是为了告诉搜索引擎蜘蛛那些页面可以抓取,那些页面不能被抓取。当搜索引擎蜘蛛来到我们网站后,也会第一时间爬取这个文件,看看我们网站是如何设置的, 然后在对网站进行抓取。
robots协议基本语法
User-agent: Baiduspider
表示的是允许百度蜘蛛抓取,最常见的形式都是User-agent: * 这个意思就是允许所有搜索引擎抓取
写法注意:首字母大写,冒号是英文状态,冒号后面需要一个空格
Disallow: /baidu
表示的意思是不允许抓取某个文件,
Allow: /baidu
表示允许抓取这个文件
还有常见的通配符,*
表示所用的文件,比如Disallow: /*.jpg 表示不允许抓取所有的jpg文件
结束符$
Disallow:/?$网站所有以?结尾的文件被禁止。
声明:有的资源均来自网络转载,版权归原作者所有,如有侵犯到您的权益 请联系邮箱:1608196816@qq.com 我们将配合处理!