首页
论坛
Yoo趣儿
›
Geek
›
站长
›
Ai爬虫不讲武德啊,禁止了都爬
Ai爬虫不讲武德啊,禁止了都爬
查看
153
|
回复
4
作者:
缪斯的情人
发布时间:2024-12-24 11:02:29
如题
现在的AI爬虫太多了
服务器一半的资源都被爬虫占了
关键AI还不讲武德
禁止都禁不了
。。。
爬虫
,
武德
相关帖子
•
Nginx 禁止PC电脑和手机端访问 不影响蜘蛛抓取的方法
•
AI爬虫真多,使用了论坛的Nginx屏蔽规则,少了很多爬虫
•
在宝塔面板里用的 AI 爬虫屏蔽方案,Nginx 拦截
•
CF上面写着30K是不是流量.大约是多少个人访问.或者是多少条爬虫
•
如何实现禁止直接访问域名,仅允许外部链接和搜索引擎访问
•
你们的站有没有被美国各种AI爬虫爬得流量用完了.比DDOS还惨
•
Cloudflare 的 5 秒盾/Turnstile 真的无敌吗? CapSolver 这类 api 到底靠不靠谱?
•
蜘蛛池技术解析:网站收录提速的关键工具与运营策略
•
提升外链网站收录技巧 五步直接翻倍实测
•
这半个月的蜘蛛 腾讯搜狗那么多爬虫啊 不够喂吗
我思故我在
2024-12-24 11:03:12
直接禁前两段IP
bay
2024-12-24 11:04:08
你看看国外的网站,都是先验证人工才能访问的,禁爬都是小事
188888888
2024-12-24 11:04:54
12月份,大量不重复的ip爬网站,一个ip一天只爬四五次二十来个页,网站都崩了,怎么办。
小嫩芽
2024-12-24 11:05:30
我也一样,技术直接强制禁止爬取了
返回列表
您需要登录后才可以回帖
登录
|
立即注册
发表回复
搜索
热门主题
用 Node.js 写了个工业级 Modbus 协议栈,
有的时候为啥调用 AI 的 API 炼出来的图会
「缓存命中率」是个伪指标,应该看未命中的
为什么有时候人自己的素质问题是不自知的呢
20 年+经验的全栈程序员,预计能找到个 6
安徽物理类 528 分求推荐学校及专业
cursor pro 学生认证账号掉了...
YeeroAI 更新: 300+ 模型并排对比 / 对话
淘宝商转样的手机可以买吗?
AI 互动悬疑游戏
热门板块
问与答
分享发现
分享创造
奇思妙想
分享邀请码
商业推广
优惠信息
Python
PHP
Java
JavaScript
Node.js
Go语言
C++
HTML
公告
网站帮助 - Yoo趣儿
2022-03-27
我们的愿景
2022-03-27
在 Yoo趣儿 投放广告
2022-03-27
Yoo趣儿网站用户应遵守规则
2022-03-24
返回顶部