上一篇我们提到： 今天我们来说说新都网站推广蜘蛛池做seo优化排名推广的文章，说白了，蜘蛛池就是一组由垃圾域名组成的网站。 每个站点下都会生成大量页面（一堆文本内容相互组合），页面模板与普通网页没有太大区别。 由于每个站点都有大量的页面，整个站点组的蜘蛛抓取总量也是巨大的。 未收录页面引入蜘蛛就是在站群正常页面的模板中单独
接下来我们进入今天的正文:今天新都网站建设公司无意中发现我的两个站点的访问速度都很慢。 登录阿里云查看ECS服务器后，发现CPU使用率经常达到99-100%。 看了日志，发现yisouspider（一只蜘蛛，应该是现在的蜘蛛在疯狂爬行，即使我在robots.txt中设置了禁止爬行的路径，它们也在爬行。如果是凌晨爬行，我 不说了，原来是光天化日之下疯狂爬，分分钟就可以瘫痪我们的网站，我发现很多人都在吐槽这个yisouspider，新都网站建设公司Yisou爬行如何屏蔽一搜蜘蛛访问网站了啦？最后的解决办法就是直接禁止yisouspider的爬取和访问。
robots.txt必须放在网站根目录下，且文件名要小写。
具体写法：
1) 完全禁止yisouspider抓取：
User-agent: yisouspider
Disallow: /
2) 禁止yisouspider抓取指定目录
User-agent: yisouspider
Disallow: /update
Disallow: /history
禁止抓取update、history目录下网页
以上就是新都网站建设公司Yisou爬行如何屏蔽一搜蜘蛛访问网站的处理办法。
扫一扫，浏览关注本文
修柏建筑幕墙工程网站建设
功夫蚂蚁餐饮火锅加盟网站建设
明霆基础工程网站建设
新文必生印务、印刷网站建设、包装网站建设
蜀丰食品包装网站建设
五菱电动观光车网站建设
金鹿凯斯服饰/服装网站建设
康伟管业/PP超静音排水管材/网站建设
扫码访问手机网站
版权所有 Copyright © 2007-2024 四川冠辰科技开发有限公司 
川公安网备案：51010602001006号
地址：四川省成都市金牛区五福桥东路229号龙湖北城天街28栋903 蜀ICP备11012605号-1
始于2007年，十五年品牌网站建设,值得信赖!
手机
官网
扫码访问手机官网
