注意防范新的AI流氓爬虫

查看 23|回复 2
作者:慕星河   
今天发现服务器负载满了
从后台看了一下爬取情况,发现是有个新的AI爬虫,在爬我的网站(如下图)


image.png (53.82 KB, 下载次数: 0)
下载附件
保存到相册
14分钟前 上传

网上查了一下 基本上都是说这个爬虫的流氓行为,无视robots协议,同时也无视服务器的承受能力。。。
(网址:Claude团队引众怒,为爬数据不择手段,给爬虫改名字无视禁止规则 https://baijiahao.baidu.com/s?id=1806078128834362803&wfr=spider&for=pc )
果断在程序里边设置了403 禁止
大家也查一下自己的访问日志吧  该禁用的果断禁止这个爬虫的访问。。。

脸书和亚马逊的爬虫也是不顾网站死活疯狂抓取的,我果断给他们都禁用了


爬虫, 流氓

慕星河
OP
  


image.png (53.17 KB, 下载次数: 0)
下载附件
保存到相册
5分钟前 上传

屏蔽之后服务器负载马上就下来了。。。
真是流氓的很啊
阿坤   
很多这种流氓行为
您需要登录后才可以回帖 登录 | 立即注册