欢迎各路正规站点,联系站长,交换友链。联系方式:admin@seo365.org(限行业:建站类/SEO类,权重不限)

robots协议最容易忽略却很致命的小细节

SEO工具 北京SEO顾问 ... 0评论

在小编看来robots协议就是站长行使网站支配权的执行文件,这是小编们作为站长最基本的权利。它是搜索引擎蜘蛛爬取网站之前要面对的第一道关口,所以robots协议的重要性也是可想而知了。都说细节决定成败,那么越重要的东西细节就显得尤为重要,往往自己一不小心忽略的一个细节到最后就可能会成为你的致命一击。本人之所以会这么说,是因为小编差点就成了这个问题的反面教材了,还好发现的及时也算是亡羊补牢吧!之所以想立即分享给大家,就是希望大家以后自己做站的时候要避免犯类似的错误。

事情其实就发生在今天,经过是这样的:因为SEO365博客也刚做好不久,前几天网站上线之后发现还有很多小问题需要处理,为了避免网站还在调整的过程中就被搜索引擎抓取到,所以小编在robots协议里面写了禁止所有搜索引擎爬取网站任何部分的指令,网站的调整一直持续了几天(之所以会弄这么长时间是因为小编是一个不能容忍瑕疵的人,不知道这算不算强迫症的一种),直到昨天也就是2月3号才全面竣工,但是这期间小编每天都在坚持添加原创文章。昨天网站检查完毕,全部问题都解决好以后,小编就把robots协议重新更换了过来,并且发了一篇帖子引了蜘蛛希望爬虫能快点过来爬小编的网站。就这样,到了今天早上发现网站还是没有被收录,于是小编就去百度站长工具平台看一下小编的网站到底是个什么情况,进去一看吓小编一跳,因为小编看到了下面一则(如图所示)信息:

robots协议


小编的网站竟然对百度进行了全面封禁,检测时间是在今天(2月4号)早上凌晨5点整的时候,这让小编像丈二的和尚摸不着头脑了,太不科学了,因为小编在昨天2月3号上午已经把网站的robots协议更改过来了,真的是太奇怪了。就在小编百思不得其解的时候总算是通过站长平台工具的“robots检测”找到了答案,看下图:

robots检测


原来百度蜘蛛早就在小编网站蜘蛛上线后的第三天抓取了小编网站的robots协议,所以当前生效的协议也就是当时它抓取到的小编把蜘蛛全部屏蔽时的那个,而本站最新的robot协议还没有生效。这下小编总算是明白了过来了,既然弄清楚了原因那事情就好办了。于是小编立即把协议提交更新了一下,如下图:

更新


更新以后一分钟内协议就更新过来了,如下图:

更新提交


可以看到,当前本站最新的robots已经开始生效了,就这样到了下午,当小编再次进入百度站长平台就收到了新消息,如下图所示:

网站解封


至此网站已经解除了robots协议对百度的全面封禁,检测时间显示的是今天下午两点整。到了晚上也差不多就是在三个多小时以前,当小编再次检查网站收录情况的时候,网站首页已经被收录了。如下图:

网站收录


网站终于被收录了,但让小编最开心的还是小编通过自己的努力找到问题并解决了问题,这才是小编今天最大的收获。当然了如果这个问题小编发现不了,可能网站再过十天半个月也会毫无起色,所以小编要提醒大家的就是关于robots协议在封禁蜘蛛之后到后期在解封的时候一定要记得及时更新robots协议,这是一个不容被忽视的小细节。也许按照自己的一贯常识觉得只要通过输入“http:\\域名\robots.txt看一下网站的协议改过来了没有就可以了,但是通过实践证明这种方式也不是完全可靠的,所以一定要记住小编这次的经验教训,robots一旦进行调整就一定要记得及时提交更新,不然被蜘蛛抓取了不该抓的或者一直把蜘蛛拒之门外耽误了自己的时间那就真的是后悔莫及了。


温馨小提示:刚才看了一下时间,已经转钟到了第二天了,写这篇文章的时候是在2月4号,但是现在发布的时间已经转点到2月5号了,所以文章提到的“今天”也就是2月4号,希望大家不要看糊涂了。

转载请注明:北京SEO365技术博客 » robots协议最容易忽略却很致命的小细节

想了解更多关于网站优化的文章请点击 北京SEO365技术博客 北京SEO优化

喜欢 (0)or分享 (0)
发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址