成都网站建设

拥有10年以上经验丰富的网站制作团队,具备科学的建站流程和快速的客户服务体系

成都网站建设专家

整合营销专家

短时间、快速度、操作简单、低投入品牌展示率

成都整合营销专家

网站优化推广

包年网站优化,百度自然排名首页,真正实现点击不收费!

成都网站优化推广

主机域名

集群式CDN加速,打开速度快速,利于优化排名

独立IP主机
您当前位置:成都网站建设 >> 新闻频道 >> 成都网站推广 >> 浏览文章

搜索引擎蜘蛛相关知识


时间:2013年11月17日 点击量:

  一、简介

  搜索引擎对互联网网页进行抓取工作是由爬虫来完成的,爬虫是一个自动抓取程序,通常我们称为百度蜘蛛,英文名是“baiduspider”,谷歌的爬虫我们称做谷歌机器人,英文名字叫“GoogleBot”。因为国内大部分人主要是做百度搜索引擎的排名优化,所以普片把搜索引擎的自动爬去程序叫做“蜘蛛”。

  二、蜘蛛的功能

  搜索引擎的爬取程序,主要有两个功能,负责两项工作。

  1、要去对目标页面进行哦啊去,资源下载存储到它的数据库。

  2、对已下载的网页进行连接识别,提取网页中的链接,作为待抓取目标。

  三、蜘蛛的抓取策略

  蜘蛛不仅仅要对目标网页进行抓取,也同时要发现新的URL,那么蜘蛛是怎么样来收集URL的呢?例如:搜索引擎抓取了东东博客里的A页面信息,并且收集A页面上的所有URL,去掉URL库中已经存在的链接,新的链接添加到待抓取队列。对这些新的URL到底什么时间再去进行抓取,跟A页面的权重有很大的关系。通常业内人士经常说的引蜘蛛便是到蜘蛛访问频率较高的页面留下自己网站的链接,让蜘蛛更快的发现该链接。

  四、蜘蛛的识别

  蜘蛛也有真假,要以真蜘蛛的爬行轨迹和返回码进行调整网站,要不就会使优化出现问题的,识别真假蜘蛛方法如下:

  第一种方法:现在IIS日志中找到蜘蛛的IP地址,点击电脑左下方开始—输入CMD–确定–输入nslookupIP地址–回车。下面以东东博客作为例子:

  图1:假蜘蛛点击浏览下一页

  图2:真蜘蛛点击浏览下一页

  名称带有baiduspider并且以baidu.com结尾的就是真蜘蛛。

文章由四川冠辰成都网站建设http://www.scgckj.com/7476.html编辑整理,转载请注明出处
相关阅读:
网站首页| 关于我们| 热门关键词| 付款方式| 资质证书| 联系我们
版权所有 Copyright © 2002-2013 四川冠辰科技开发有限公司www.scgckj.com 保留所有权利 蜀ICP备11012605号
地址:四川省成都市金丰路6号量力钢铁交易大厦B座2010室 冠辰科技资质证书
服务热线:400-000-2367 028-86088588 总机:028-62322623-0 传真:028-62322623-823