书接上回,大量mysql数据库查询是不是蜘蛛造成的?

查看 87|回复 9
作者:acg88   



美国IP很离谱啊,这些都是谷歌蜘蛛吗?宝塔可以控制吗?

蜘蛛, 宝塔, 美国

BigBug   
禁止国外ip访问
轩辕之风   
应该不是谷歌的蜘蛛,谷歌有给出爬虫的ip范围,也不会有这么频繁的请求
acg88
OP
  
谷歌收录有六万多?但爬得太勤了
acg88
OP
  
   

轩辕之风 发表于 2024-8-14 13:07
应该不是谷歌的蜘蛛,谷歌有给出爬虫的ip范围,也不会有这么频繁的请求

也对,频繁请求数据库那应该是被攻击吧
装了个Nginx防火墙试试看能不能抵挡
https://www.bt.cn/bbs/thread-72613-1-1.html  这是防火墙,我照着设置
FTGGmu   
感觉不太像啊,流量这么大吗,但是从ip段上又好像是的

轩辕之风   

acg88 发表于 2024-8-14 13:10
谷歌收录有六万多?但爬得太勤了

这个统计可能不太准,爬虫工具的ua是可以自定义的
zsj1259   
是amazon的爬虫ip,你是不是在亚马逊上发了什么?你在哪些社交媒体发过?这个可能是审核爬虫。或者是社交card爬虫,比如推特 card等
NodeLoc   
针对游客可以只给缓存数据
zsj1259   
你如果是社交媒体群发你的链接,那么每次发都会被爬好几次甚至几十几百次。很正常的。
您需要登录后才可以回帖 登录 | 立即注册

返回顶部