从后台看了一下爬取情况,发现是有个新的AI爬虫,在爬我的网站(如下图)
image.png (53.82 KB, 下载次数: 0)
下载附件
保存到相册
14分钟前 上传
网上查了一下 基本上都是说这个爬虫的流氓行为,无视robots协议,同时也无视服务器的承受能力。。。
(网址:Claude团队引众怒,为爬数据不择手段,给爬虫改名字无视禁止规则 https://baijiahao.baidu.com/s?id=1806078128834362803&wfr=spider&for=pc )
果断在程序里边设置了403 禁止
大家也查一下自己的访问日志吧 该禁用的果断禁止这个爬虫的访问。。。
脸书和亚马逊的爬虫也是不顾网站死活疯狂抓取的,我果断给他们都禁用了