如何避免必应的蜘蛛疯狂抓取网页减轻服务器压力

  • 67
  • 阅读模式

最近因为阿里云的服务器到期了,不得已换为阿里云的轻云服务器。因为以前用的服务器配置比较高,但是后续新增的服务器配置比较低。就想着用腾讯云的CDN用一下,谁知道一用,发现网站流量降低了很多。

起初还以为是腾讯云的CDN接入,造成服务器不稳定。谁知道,这几天一直在看网站后台的日记,发现一些IP疯狂访问网站地址。原来一看是必应的蜘蛛疯狂访问,造成服务器资源被占用。

如何避免必应的蜘蛛疯狂抓取网页减轻服务器压力 如何避免必应的蜘蛛疯狂抓取网页减轻服务器压力

基本可以看到都是必应的蜘蛛在疯狂访问,通过插件也可以看到,

如何避免必应的蜘蛛疯狂抓取网页减轻服务器压力

其中bingbot的蜘蛛占到了72%,确实太恐怖了。只能降低蜘蛛访问速录,来让百度恢复流量。

如何降低bingbot的蜘蛛呢?

首先就是登录Bing站长工具,

然后选择已经验证的站点,选择9点到下午5点

如何避免必应的蜘蛛疯狂抓取网页减轻服务器压力

虽然说可以设置自定义,但是自定义却是形同虚设。当然这也是第一步,如果这种设置之后,你再去看bingbot的蜘蛛还是疯狂访问的话,还有其他的步骤设置。

老邢博客
  • 本文由 发表于 2022年12月6日 10:39:35
  • 转载请务必保留本文链接:https://xingyangs.com/seo/521.html
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定