1. 首页
  2. 喵~

robots.txt用法小记

果果喵.cn挂了一个搜索站。然后冷不丁的就崩溃……

排查日志后发现是谷歌的搜索引擎一直沿着搜索关键词爬呀爬的。。然后导致服务器不堪重负挂了……

于是准备使用robots屏蔽谷歌
User-Agent: *
Allow: /
允许全部搜索引擎收录

User-agent: *
Disallow: /
不允许全部搜索引擎收录

 

 

其中谷歌是Googlebot       |    User-agent: 中加上谷歌~

 

评分 0, 满分 5 星
0
0
看完收藏一下,下次也能找得到
  • 版权声明:本文基于《知识共享署名-相同方式共享 3.0 中国大陆许可协议》发布,转载请遵循本协议
  • 文章链接:http://moe.xin/191.html [复制] (转载时请注明本文出处及文章链接)
上一篇:
:下一篇

5 条评论

gravatar

  1. 没想到博主也会用萝卜丝。。

    #-49楼
    1. @上海seo 还是你的博客里面都是营养呢。。。改天还要去你博客学习学习喵。。。。

  2. -49楼什么鬼

    #-48楼
    1. @佳佳菌 QAQ不知道楼层是什么情况。反正那个站也没发展的计划。。就屏蔽谷歌搜索吧-V-~

  3. 谷歌可以设置爬行频率哒

    #-47楼