robots的一点测试

  • By 北京seo
  • 2014-12-05 23:17:26
  • 点击:
  • 关键词

最近测试一下robots的情况,具体测试如下:

disallow: /index-r-*.html

这个规则把所有的以index-r后面的URL全部屏蔽了(包括index-r-1-main-*.html),用蜘蛛模拟这些页面是未解析到IP的,其他的页面正常抓取!

过了两天讲robots修改回来,然后提交蜘蛛抓取robots文件,等文件生效后,用百度站长平台后面的抓取测试,结果显示这次页面正常抓取!

因此我们在写协议的时候要注意屏蔽的URL是否会牵扯到其他页面!

你可以先允许抓取index-r-1-main-*.html,然后不允许抓取index-r-*.html页面,这是一个客户的网站程序设计的有问题,如果不屏蔽大量的重复页面都被收录!

您也可以关注我的微信:beyondnever,长按即可复制;或者加我QQ:502791664,打赏一盒烟钱,就可以获得大红多年收藏的各大seo推广营销资料和视频,只有两个月时间,过期作废!

本文:【robots的一点测试】--技术分享
文章地址:http://beijing.seosrx.net/fenxiang/86.html 转载请保留链接地址

上一篇:百度关键词排名该如何做
下一篇:免费的挖掘长尾关键词的工具

用微信扫一扫

微信