十年风雨路 · 一心铸精品

接一个官网 留一件精品 做一个项目 树一块样板

robots协议如何制作的方法

我们怎么样来设置,我们的网站,让网络爬虫什么应该抓取,什么不应该抓取的的,像这样的话,我们就可以给我们的网站设置robots协议,来让网络爬虫什么应该抓取,什么不应该抓取,而在这篇文章中,让大家来知道新手必知的SEO基础五:robots协议,首先,就从介绍开始,我们的分享吧。ro

时间:2013年12月20日 点击量:

我们怎么样来设置,我们的网站,让网络爬虫什么应该抓取,什么不应该抓取的的,像这样的话,我们就可以给我们的网站设置robots协议,来让网络爬虫什么应该抓取,什么不应该抓取,而在这篇文章中,让大家来知道新手必知的SEO基础五:robots协议,首先,就从介绍开始,我们的分享吧。

robots的介绍:

robots其实,就想当于一个协议,它其实就是用来告诉网络爬虫什么可以抓取什么不可以抓取的,学过SEO的用户都知道,搜索引擎它本身其实是没有内容的,它主要是派出大量的网络爬虫来抓取各大网站的内容。那么,我们网站有些内容是允许网络爬虫抓取的,有些内容是不允许网络爬虫抓取的,所以我们就要写一个规则,来让搜索引擎来遵循这个规则,而这个规则就是robots协议。

其实,robots协议也可说是就是相当于一个公司门口的公告一样,而这个公告上写着,什么人可以进入,什么人不能进入。一般情况下,这个robots协议都是使用.txt文档来结尾的,而这个robots协议是放置在,我们网站的根目录里的文件下方,搜索引擎派出的爬虫访问到我们的网站的第一站就会看到robots这个协议,那里不让它抓取,那里让它抓取

robots的功能

robots的功能它可以屏蔽一些无用的信息或者说一些非常珍贵的信讯,这样就不自于搜索引擎你网站的内容全部都给你抓取过去。同时,如果你屏蔽掉这些无用信息的话,搜索引擎它就节省了我们网站服务器的带宽资源了。而且,搜索引擎会直接抓取,我们网站有用的信息,从而提升我们网站的收录。

robots操作

在上面中我们了解了robots协议的介绍和功能,那么这里,就说说怎么样来操作,怎么来操作呢?

首先robots协议它可以分为两种:

1、没有屏蔽爬虫的网站robots协议,而它的代码就是:

User-agent:*这个代码是允许所有爬虫来访问

Disallow:/wp-admin/这个代码是不允许爬虫访问这个目录的

Disallow:/wp-includes/这个 代码也是不允许爬虫访问这个目录的

这个,就是没有屏蔽爬虫的网站robots协议,那么,要怎么来操作呢?首先我们要知道,robots它就是一个.txt文本的,我们可新建一个.txt文本,在把这组代码写在文本中,接着在修改一下文本名字,修改成robots.txt就行了,然后,在通过FTP上传到我们网站的根目录就可以了。

2、屏蔽百度爬虫的网站robots协议,而它的代码是:

User-agent:Baiduspider

Disallow:/

User-gent:baiduspider

Disallow:/这两种代码的意思就是,不允许百度来爬取它

而它的操作跟面也是 一样的,同样也是要建立一个文本文档,在把这个代码放在文本文档中,在修好改文本文档的名字,修改成robots.txt就行了,同样,也是通过FTP上传到我们网站的根目录中,就可以了。

还有一种操作方法,就是通过百度站长工具来对我们网站进行设置robots协议的

总结:robots就是一个协议,是告诉搜索引擎派出的爬虫什么可以抓取,什么不可以抓取的。而robots协议,他有一个功能,就是它可以屏蔽掉一些无用的信息或者说一些非常珍贵的信讯,这样做的好处就是给我们网站节省了服务器带宽资源了。同是robots协议的,操作也是很简单的,新建一个.txt文本文档,就把相应的代码放置在文本文档就中行,在修改一下,文本名字,修改成robots.txt就行了,在通过FTP上传到我们网站的根目录中,就可以了。

推荐案例

  • 成都森美啦园林绿化工程公

  • 四川尚恒科技有限公司

  • 成都九邦物流有限责任公司

  • 四川品睿餐饮管理有限公司

  • 美绘陶社陶艺手绘工作室-暖

  • 成都恩多施生物工程技术有

  • 汶川羌人土特产有限公司

  • 印刷设计公司网站No.3138

联系我们 / CONTACT US

  • 四川省成都市金牛区五福桥东路229号龙湖北城天街28栋903室
  • 服务热线:400-000-2367 028-86088588
  • 总机:028-62322623-0
  • 传真:028-62322623-823

扫码访问冠辰手机网站

版权所有 Copyright © 2002-2019 四川冠辰科技开发有限公司  www.scgckj.com 保留所有权利  蜀ICP备11012605号

地址:四川省成都市金牛区五福桥东路229号龙湖北城天街28栋903室

服务热线:400-000-2367 028-86088588 总机:028-62322623-0 传真:028-62322623-823