WordPress终极优化指南–限制机器人爬虫

2018年12月26日教程大全WordPress优化

WordPress终极优化指南–限制机器人爬虫

教程总目录：WordPress终极优化指南

爬虫我们大多都听说过，最常见的就是搜索引擎爬虫，比如百度蜘蛛、谷歌蜘蛛。一些同学可能就想到了，为什么要限制这些爬虫？

实际上在我们网站，爬虫要比真实访客多得多，很多站点真实访客没有几个但是爬虫就可以把服务器负载跑满。

我们当然不会屏蔽搜索引擎爬虫，但是当你的服务器性能不足时可以适当限制一下搜索引擎的抓取速率。各大搜索引擎的站长平台都可以设置。

除此之外还有很多采集机器人等等个人或者其他团体开发的爬虫，一些可能是为了采集你的文章，一些则可能是在寻找你网站的漏洞。

常见的防火墙基本都可以识别出这些爬虫，比如宝塔面板付费插件里面的防火墙–扫描器，里面就是常见的一些爬虫。

总结：爬虫的禁止有利有弊，本站没有禁止过，服务器性能也足够。并且也发现了几个站在采集这边的文章。个人觉得无所谓，想要采集就采集吧。大部分采集时候会带上你网站的链接。

是否禁止掉自己考虑下即可。