什么是百度蜘蛛,关于baidu百度蜘蛛类型介绍
什么是百度蜘蛛?
百度蜘蛛,英文名:baiduspider,是百度搜索引擎的一个自动程序,百度蜘蛛的作用,就是抓取互联网上的所用网页,建立索引,最后展示出来,也就是用户百度搜索后看到的结果。
百度蜘蛛的类型是有很多种的,下面为大家介绍常见百度蜘蛛类型
Baiduspider的user-agent是什么
产品名称 对应user-agent
无线搜索 Baiduspider
图片搜索 Baiduspider-image
视频搜索 Baiduspider-video
新闻搜索 Baiduspider-news
百度搜藏 Baiduspider-favo
百度联盟 Baiduspider-cpro
商务搜索 Baiduspider-ads
网页以及其他搜索 Baiduspider
我们在查看网站日志的时候,会发现,有很多baiduspider,那么真的有这么多蜘蛛吗?我们在用站长工具的模拟抓取时也会显示baiduspider,其实并不是真正的baiduspider,怎么判断是不是真的百度蜘蛛呢?
1、我们可以通过站长工具。进行ip查询,
2、使用nslookup ip命令查询ip判断,这个ip是不是真的来之百度蜘蛛。
nslookkup的使用方法如下:
nslookup使用 首先,点击电脑,找到运行,输入cmd
C:\Users\Administrator>nslookup 220.181.108.88
服务器: 192.168.1.1
Address: 192.168.1.1
名称: baiduspider-220-181-108-88.crawl.baidu.com
Address: 220.181.108.88
Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,不是 *.baidu.com 或 *.baidu.jp 的就是假蜘蛛
声明:有的资源均来自网络转载,版权归原作者所有,如有侵犯到您的权益 请联系邮箱:1608196816@qq.com 我们将配合处理!