十年风雨路 · 一心铸精品

接一个官网 留一件精品 做一个项目 树一块样板

robots禁止了所有搜索引擎抓取为什么还是收录了?

明明使用robots禁止了所有搜索引擎抓取,但是为什么还是收录了?我已经屏蔽搜索引擎几天了,就在刚才突然发现1个小时前被收录了。。。这是什么原因?求解!!!看起来是一个无关紧要的现象,问题不大,但其实我们也可以认真一下。Robots规则没有问题的话,我觉得可能以下情况:1、蜘

时间:2013年11月08日 点击量:

明明使用robots禁止了所有搜索引擎抓取,但是为什么还是收录了?
我已经屏蔽搜索引擎几天了,就在刚才突然发现1个小时前被收录了。。。这是什么原因?求解!!!


看起来是一个无关紧要的现象,问题不大,但其实我们也可以认真一下。

Robots规则没有问题的话,我觉得可能以下情况:
1、蜘蛛还没有抓取到Robots
2、蜘蛛不遵守规则(这个可能性比较小)
3、Robots需要调整,一般屏蔽全站,该规则可以放在最前端(也就是重要的放前面)。
做一下调整,然后需要一些时间。

请楼下补充和发表高见!
……


不知道你说的几天具体是几天。
一般robots生效时间应该是两三天吧,有的还是一周。
若是超过一周了还是如此,那就参照@袭明 的说法去做。更再不行就投诉。


robots修改生效时间很长,一般1-3个月的时间。


搜索引擎抓取与收录的是两个不同的概念。
如果您的网页仍显示在搜索结果中,可能是因为在您添加修改robots后搜索引擎尚未抓取过您的网站.修改生效时间一周以内。
蜘蛛不会抓取 robots.txt 拦截的网页内容或将其编入索引,但如果其在网络上的其他网页中发现这些内容,仍然会将这些网页的网址编入索引。


楼上的几位说的不敢苟同,个人觉得很明显的淘宝现象,百度官方对于这个有解释的,也就是蜘蛛是顺着链接爬行的,对于禁止的可以不抓你的内容,但是有用户需求的仍旧会建议索引。


屏蔽网站robots文件写法:
User-agent: *
Disallow: /

这样蜘蛛是会收录首页的,其他页面肯定不会收录。收录首页搜索结果的标题是域名,描述应该是robots.txt已阻止蜘蛛的访问。

谷歌也是这样的。

推荐案例

  • 成都森美啦园林绿化工程公

  • 四川尚恒科技有限公司

  • 成都九邦物流有限责任公司

  • 四川品睿餐饮管理有限公司

  • 美绘陶社陶艺手绘工作室-暖

  • 成都恩多施生物工程技术有

  • 汶川羌人土特产有限公司

  • 印刷设计公司网站No.3138

联系我们 / CONTACT US

  • 四川省成都市金牛区五福桥东路229号龙湖北城天街28栋903室
  • 服务热线:400-000-2367 028-86088588
  • 总机:028-62322623-0
  • 传真:028-62322623-823

扫码访问冠辰手机网站

版权所有 Copyright © 2002-2019 四川冠辰科技开发有限公司  www.scgckj.com 保留所有权利  蜀ICP备11012605号

地址:四川省成都市金牛区五福桥东路229号龙湖北城天街28栋903室

服务热线:400-000-2367 028-86088588 总机:028-62322623-0 传真:028-62322623-823