成都网站建设

拥有10年以上经验丰富的网站制作团队,具备科学的建站流程和快速的客户服务体系

成都网站建设专家

整合营销专家

短时间、快速度、操作简单、低投入品牌展示率

成都整合营销专家

网站优化推广

包年网站优化,百度自然排名首页,真正实现点击不收费!

成都网站优化推广

主机域名

集群式CDN加速,打开速度快速,利于优化排名

独立IP主机
您当前位置:成都网站建设 >> 新闻频道 >> 成都网站建设 >> 浏览文章

屏蔽限制蜘蛛robots.txt文件的写法


时间:2013年05月07日 点击量:

淘宝客想要只让百度的蜘蛛来访问,其它蜘蛛全部屏蔽,而且要限制每天最多来访在一万次以内,这个robots.txt文件该怎样写?我现在没有用robots.txt文件,每天蜘蛛爬了5万多次,爬得太厉害了。。。

补充:在原程序里有以下这个robots.txt文件,说是限量的,大家看下有没有作用。

User-agent: *
Crawl-delay:150
robots.txt文件主要包含两个区域,“User-agent:”和“Disallow:”,每个区域每条指令都是独立一行。还有两个区域就是注释“#”和网站地图“sitemap:”

1、“User-agent:”区域的书写

成都网站建设建议指定允许哪一些搜索引擎蜘蛛抓取,如果给出参数,则只有指定的搜索引擎蜘蛛能够抓取;如值为通配符“*”号,代表允许搜索引擎所有蜘蛛抓取。

如:

User-agent: Googlebot
Disallow:
表示只允许Google的蜘蛛;

User-agent: *
Disallow:
表示允许全部所有搜索引擎蜘蛛抓取。

注意:User-agent必须出现在网站代码第一行(有意义的行,注释除外)

2、“Disallow:”区域的书写

User-agent: *
Disallow: /
指定禁止一些搜索引擎蜘蛛抓取的目录或文件

User-agent: *
Disallow: /help.php
禁止搜索引擎抓取根目录下help.php文件;

User-agent: *
Disallow: /admin/
禁止搜索引擎抓取根目录下的admin子目录中页面任何内容;

User-agent: *
Disallow:
值为空时,表示不限制,蜘蛛便可以抓取网站内任何内容。

3、“#”表示注释

例如:
#这个是允许搜索引擎所有蜘蛛
User-agent: *
Disallow:

文章由四川冠辰成都网站建设http://www.scgckj.com/3920.html编辑整理,转载请注明出处
签约动态成都网站建设成都建站动态成都网站推广成都企业名录常见问题FAQ冠辰公告
联系我们
  • 业务咨询:18782121200
  • 业务咨询:18080432432
  • 服务热线:028-86088588
  • 服务热线:028-62322623-0
  • 免费热线:400-000-2367
  • 传 真:028-62322623-823
网站首页| 关于我们| 热门关键词| 付款方式| 资质证书| 联系我们
版权所有 Copyright © 2002-2013 四川冠辰科技开发有限公司www.scgckj.com 保留所有权利 蜀ICP备11012605号
地址:四川省成都市金丰路6号量力钢铁交易大厦B座2010室 冠辰科技资质证书
服务热线:400-000-2367 028-86088588 总机:028-62322623-0 传真:028-62322623-823