走啊走
来学wordpress建站吧

首页

买主机

建站

联系

如何过滤屏蔽掉抓取你WordPress网站的无用蜘蛛

很久之前其实就发现一个问题,很多的蜘蛛来抓取你的网站,通过分析网站的日志文件可以看到,有很多蜘蛛我们是欢迎的,有些我们确实不想要的,但是却长期的在抓取,于是想要把他屏蔽掉,当天一般想到的办法可能是定义robots文件,但是这个似乎并没有用处,一方面有些蜘蛛并不遵守这个规则协议,照样抓取,一方面很多蜘蛛其实是仿冒的,比如你也可以仿冒百度蜘蛛的UA信息去抓取别人的网站,所以robots文件几乎是没法实现的。

之前介绍过宝塔免费的防火墙比较好用,可以借助这个防火墙功能,屏蔽恶意的无用的一些蜘蛛的UA信息,比如:

Mozilla/5.0 (compatible; AhrefsBot/6.1; +http://ahrefs.com/robot/);

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)

等,这些几乎是国外的一些搜索引擎或者是根本不会带来任何好处比如搜索流量的,所以可以直接屏蔽他们。其他有益的蜘蛛需要保留不哟误杀了,比如谷歌百度搜狗头条什么等等;除了防火墙可以屏蔽UA还可以借助CDN去实现屏蔽UA;

为什么要屏蔽呢?

其实到不见得有什么明显的好处,反正看到日志里面出现很多这些没用的觉得没有意义,访问抓取的时候还会消耗一定的服务器资源,带来带宽流量等消耗;

 

微信订阅号:wordpress8—WordPress建站吧 » 如何过滤屏蔽掉抓取你WordPress网站的无用蜘蛛

评论 5

#快捷签到点我#

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
  1. #5

    有很多对于我们个人博客无意义的蜘蛛可以屏蔽,要不然大规模爬取有可能导致我们主机宕机,不过确实有很多假冒蜘蛛,防不胜防。

    boke112联盟3个月前 (12-31)回复
  2. #4

    2019/12/2 下午12:45:57,打卡签到成功!节日快乐!

    华年轻度4个月前 (12-02)回复
  3. #3

    这是什么,能讲得详细一点吗?

    锋言锋语4个月前 (11-27)回复
  4. #2

    无条件收录各类优秀正规站,希望能多个做网站的朋友!

    首码网4个月前 (11-27)回复
  5. #1

    垃圾爬虫一大堆

    奶爸建网站笔记4个月前 (11-27)回复


走啊走—【WordPress建站吧,轻松学建站!关注微信订阅号:wordpress8】

wordpress建站安装》联系我们
ECS突发性能T6-99元/年
力荐

阿里云服务器,ECS共享型S6新品低至69.86/年

阅读(9002)评论(242)

新用户专属小站价,爆款产品1折起,百度云服务器之前买的特价大概100块钱左右一年的吧,大概还有一个月就要过期了,平时没怎么用基本是空着的,做一些测试用,今天去百度云续费域名,结果发现又有活动团购价格62元/6个月的价格,感觉比较划算六十多块钱买半年,这个价格还是比较诱人的,...

ECS突发性能T6-99元/年
新手必看

wordpress建站首选云服务器229.00/3年

阅读(822)评论(242)

新用户专属小站价,爆款产品1折起爆款产品5折起,新老用户同享优惠,限时抢购,指定云产品使用 限新用户 最高¥2000...

久不见,可好?给您推荐阿里云ECS服务器,特价主机低至¥74.43/年起开抢 阿里云ECS特惠价
这个很重要:宝塔服务器面板,一键全能部署及管理,送你¥3188礼包, 点我领取