首页
论坛
Yoo趣儿
›
Geek
›
程序员
›
现在大型的爬虫项目用的是什么框架, scrapy 过时了吗 ...
现在大型的爬虫项目用的是什么框架, scrapy 过时了吗
查看
123
|
回复
3
作者:
pureGirl
发布时间:2025-11-26 00:39:05
面对动态页面和抗反爬稍微复杂点的就不行了吧
简单的网站依然可以用啊
爬虫
,
框架
,
Scrapy
相关帖子
•
给 Claude Code / Codex 加一个轻量级 AI 团队搭建框架
•
Nginx 禁止PC电脑和手机端访问 不影响蜘蛛抓取的方法
•
AI爬虫真多,使用了论坛的Nginx屏蔽规则,少了很多爬虫
•
在宝塔面板里用的 AI 爬虫屏蔽方案,Nginx 拦截
•
CF上面写着30K是不是流量.大约是多少个人访问.或者是多少条爬虫
•
如何实现禁止直接访问域名,仅允许外部链接和搜索引擎访问
•
你们的站有没有被美国各种AI爬虫爬得流量用完了.比DDOS还惨
•
Cloudflare 的 5 秒盾/Turnstile 真的无敌吗? CapSolver 这类 api 到底靠不靠谱?
•
蜘蛛池技术解析:网站收录提速的关键工具与运营策略
•
写了一个 harness 框架 感觉现在永远都有新发现
bwnjnOEI
2025-11-26 00:39:39
scrapy 一直就不是单着用的吧?没过时,但是你可以学一下 playwright
donaldturinglee
2025-11-26 00:40:27
试试 DrissionPage ?
sgld
2025-11-26 00:41:24
简单就 scrapy ,复杂就不用框架,直接操作浏览器
例如
camoufox
patchwright
返回列表
您需要登录后才可以回帖
登录
|
立即注册
发表回复
浏览过的版块
服务器
分享发现
优惠信息
站长
IOS/macOS
二手交易
问与答
HarmonyOS
社会资讯
Android
搜索
热门主题
哈哈,服!
为啥微信短视频里边推销GEO的账号,性别几
盲猜 2 小时后发布 GPT-5.6!
做了一个 5 Letter Word Finder:按 Wordle
[分享] 分享一个我做的新闻 CLI 可以帮助大
小米手机贴膜掉了,去小米之家或者授权体验
我当年混铁血论坛,坛友们混哪里?
中级职称考试,过了~以后也是有职称的人了
限时免费公益codex满血5.55.4可用,免费分
3117倒闭了吗?
热门板块
问与答
分享发现
分享创造
奇思妙想
分享邀请码
商业推广
优惠信息
Python
PHP
Java
JavaScript
Node.js
Go语言
C++
HTML
公告
网站帮助 - Yoo趣儿
2022-03-27
我们的愿景
2022-03-27
在 Yoo趣儿 投放广告
2022-03-27
Yoo趣儿网站用户应遵守规则
2022-03-24
返回顶部