十年风雨路 · 一心铸精品

接一个官网 留一件精品 做一个项目 树一块样板

屏蔽限制蜘蛛robots.txt文件的写法

淘宝客想要只让百度的蜘蛛来访问,其它蜘蛛全部屏蔽,而且要限制每天最多来访在一万次以内,这个robots.txt文件

时间:2013年05月07日 点击量:

淘宝客想要只让百度的蜘蛛来访问,其它蜘蛛全部屏蔽,而且要限制每天最多来访在一万次以内,这个robots.txt文件该怎样写?我现在没有用robots.txt文件,每天蜘蛛爬了5万多次,爬得太厉害了。。。

补充:在原程序里有以下这个robots.txt文件,说是限量的,大家看下有没有作用。

User-agent: *
Crawl-delay:150
robots.txt文件主要包含两个区域,“User-agent:”和“Disallow:”,每个区域每条指令都是独立一行。还有两个区域就是注释“#”和网站地图“sitemap:”

1、“User-agent:”区域的书写

成都网站建设建议指定允许哪一些搜索引擎蜘蛛抓取,如果给出参数,则只有指定的搜索引擎蜘蛛能够抓取;如值为通配符“*”号,代表允许搜索引擎所有蜘蛛抓取。

如:

User-agent: Googlebot
Disallow:
表示只允许Google的蜘蛛;

User-agent: *
Disallow:
表示允许全部所有搜索引擎蜘蛛抓取。

注意:User-agent必须出现在网站代码第一行(有意义的行,注释除外)

2、“Disallow:”区域的书写

User-agent: *
Disallow: /
指定禁止一些搜索引擎蜘蛛抓取的目录或文件

User-agent: *
Disallow: /help.php
禁止搜索引擎抓取根目录下help.php文件;

User-agent: *
Disallow: /admin/
禁止搜索引擎抓取根目录下的admin子目录中页面任何内容;

User-agent: *
Disallow:
值为空时,表示不限制,蜘蛛便可以抓取网站内任何内容。

3、“#”表示注释

例如:
#这个是允许搜索引擎所有蜘蛛
User-agent: *
Disallow:

推荐案例

  • 成都森美啦园林绿化工程公

  • 四川尚恒科技有限公司

  • 成都九邦物流有限责任公司

  • 四川品睿餐饮管理有限公司

  • 美绘陶社陶艺手绘工作室-暖

  • 成都恩多施生物工程技术有

  • 汶川羌人土特产有限公司

  • 印刷设计公司网站No.3138

联系我们 / CONTACT US

  • 四川省成都市金牛区五福桥东路229号龙湖北城天街28栋903室
  • 服务热线:400-000-2367 028-86088588
  • 总机:028-62322623-0
  • 传真:028-62322623-823

扫码访问冠辰手机网站

版权所有 Copyright © 2002-2019 四川冠辰科技开发有限公司  www.scgckj.com 保留所有权利  蜀ICP备11012605号

地址:四川省成都市金牛区五福桥东路229号龙湖北城天街28栋903室

服务热线:400-000-2367 028-86088588 总机:028-62322623-0 传真:028-62322623-823

川公网安备 51010602001006号