1. 首页
  2. SEO基础

[SEO名词]robots协议是什么,robots协议有什么用

网站中robots文件是必不可少的,合理的设置对网站优化也有至关重要的作用,今天我们就来介绍一下什么是robots协议,以及robots协议有什么用处。

robots协议

什么是robots协议

robots协议,也被称为爬虫协议,机器人协议,对网站来说,每一个网站都有一个robots文件在根目录,叫做robots.txt,这个文件的作用就是为了告诉搜索引擎蜘蛛那些页面可以抓取,那些页面不能被抓取。当搜索引擎蜘蛛来到我们网站后,也会第一时间爬取这个文件,看看我们网站是如何设置的, 然后在对网站进行抓取。

robots协议基本语法

User-agent: Baiduspider

表示的是允许百度蜘蛛抓取,最常见的形式都是User-agent: * 这个意思就是允许所有搜索引擎抓取

写法注意:首字母大写,冒号是英文状态,冒号后面需要一个空格

Disallow: /baidu

表示的意思是不允许抓取某个文件,

Allow: /baidu

表示允许抓取这个文件

还有常见的通配符,*

表示所用的文件,比如Disallow: /*.jpg 表示不允许抓取所有的jpg文件

结束符$ 

Disallow:/?$网站所有以?结尾的文件被禁止。

原创文章,作者:太原SEO,如若转载,请注明出处:https://www.aipinyue.net/jichu/420.html

联系我们

15811163279

在线咨询:点击这里给我发消息

邮件:1608196816@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息