Ai爬虫不讲武德啊,禁止了都爬

查看 35|回复 4
作者:缪斯的情人   
如题
现在的AI爬虫太多了
服务器一半的资源都被爬虫占了
关键AI还不讲武德
禁止都禁不了
。。。

爬虫, 武德

我思故我在   
直接禁前两段IP

bay   
你看看国外的网站,都是先验证人工才能访问的,禁爬都是小事
188888888   
12月份,大量不重复的ip爬网站,一个ip一天只爬四五次二十来个页,网站都崩了,怎么办。
小嫩芽   
我也一样,技术直接强制禁止爬取了
您需要登录后才可以回帖 登录 | 立即注册

返回顶部