首页
论坛
Yoo趣儿
›
Geek
›
站长
›
Ai爬虫不讲武德啊,禁止了都爬
Ai爬虫不讲武德啊,禁止了都爬
查看
156
|
回复
4
作者:
缪斯的情人
发布时间:2024-12-24 11:02:29
如题
现在的AI爬虫太多了
服务器一半的资源都被爬虫占了
关键AI还不讲武德
禁止都禁不了
。。。
爬虫
,
武德
相关帖子
•
Nginx 禁止PC电脑和手机端访问 不影响蜘蛛抓取的方法
•
AI爬虫真多,使用了论坛的Nginx屏蔽规则,少了很多爬虫
•
在宝塔面板里用的 AI 爬虫屏蔽方案,Nginx 拦截
•
CF上面写着30K是不是流量.大约是多少个人访问.或者是多少条爬虫
•
如何实现禁止直接访问域名,仅允许外部链接和搜索引擎访问
•
你们的站有没有被美国各种AI爬虫爬得流量用完了.比DDOS还惨
•
Cloudflare 的 5 秒盾/Turnstile 真的无敌吗? CapSolver 这类 api 到底靠不靠谱?
•
蜘蛛池技术解析:网站收录提速的关键工具与运营策略
•
提升外链网站收录技巧 五步直接翻倍实测
•
这半个月的蜘蛛 腾讯搜狗那么多爬虫啊 不够喂吗
我思故我在
2024-12-24 11:03:12
直接禁前两段IP
bay
2024-12-24 11:04:08
你看看国外的网站,都是先验证人工才能访问的,禁爬都是小事
188888888
2024-12-24 11:04:54
12月份,大量不重复的ip爬网站,一个ip一天只爬四五次二十来个页,网站都崩了,怎么办。
小嫩芽
2024-12-24 11:05:30
我也一样,技术直接强制禁止爬取了
返回列表
您需要登录后才可以回帖
登录
|
立即注册
发表回复
搜索
热门主题
最近收BA的人很多 交易了要立刻取消BA 教训
刚看了一个视频,让我又清醒了一下
小小农民新开中转站,欢迎来踩
港版安卓机是满血的国际版安卓机吗?
我 ThreeJSON 又回来了: V 友们批评得对!
继之前 5.4 的 “收口”之后, 5.6 Sol 好
折腾 homelab 挺长时间了 建了一个群 想不
codex 打开风扇狂转怎么办
Vibe 的一个中文起名小工具
你们明天要去看周星驰的电影么?
热门板块
问与答
分享发现
分享创造
奇思妙想
分享邀请码
商业推广
优惠信息
Python
PHP
Java
JavaScript
Node.js
Go语言
C++
HTML
公告
网站帮助 - Yoo趣儿
2022-03-27
我们的愿景
2022-03-27
在 Yoo趣儿 投放广告
2022-03-27
Yoo趣儿网站用户应遵守规则
2022-03-24
返回顶部