首页
论坛
Yoo趣儿
›
Geek
›
程序员
›
现在大型的爬虫项目用的是什么框架, scrapy 过时了吗 ...
现在大型的爬虫项目用的是什么框架, scrapy 过时了吗
查看
152
|
回复
3
作者:
pureGirl
发布时间:2025-11-26 00:39:05
面对动态页面和抗反爬稍微复杂点的就不行了吧
简单的网站依然可以用啊
爬虫
,
框架
,
Scrapy
相关帖子
•
百度被动的原因
•
怎么统计服务的真实的访问 IP?
•
AI 开发,框架的作用大还是模型的作用大
•
我 ThreeJSON 又回来了: V 友们批评得对!已立正!这是一封感谢信
•
bootstrap这种框架,好像落伍了
•
给 Claude Code / Codex 加一个轻量级 AI 团队搭建框架
•
Nginx 禁止PC电脑和手机端访问 不影响蜘蛛抓取的方法
•
AI爬虫真多,使用了论坛的Nginx屏蔽规则,少了很多爬虫
•
在宝塔面板里用的 AI 爬虫屏蔽方案,Nginx 拦截
•
CF上面写着30K是不是流量.大约是多少个人访问.或者是多少条爬虫
bwnjnOEI
2025-11-26 00:39:39
scrapy 一直就不是单着用的吧?没过时,但是你可以学一下 playwright
donaldturinglee
2025-11-26 00:40:27
试试 DrissionPage ?
sgld
2025-11-26 00:41:24
简单就 scrapy ,复杂就不用框架,直接操作浏览器
例如
camoufox
patchwright
返回列表
您需要登录后才可以回帖
登录
|
立即注册
发表回复
搜索
热门主题
求个机场,要求速度要快,价格不要太高的,
GPT 生产图片提示额度已经消耗完
我们小县城现在的消费全靠我爸爸这样的退休
29.9的服务器。抓紧来拼一个,配置高速度还
《财经》8 月刊自己买了国内外主流 Token
SNI 白名单机制已在福建试验快 4 年之久,
DeepSeek 弄了个额度管理小工具
对脑科学有兴趣的朋友看过来:分享自己 vib
做了一个专门找“真正全球远程职位”的小网
从 0 到 1 实现 agent harness 的视频教程
热门板块
问与答
分享发现
分享创造
奇思妙想
分享邀请码
商业推广
优惠信息
Python
PHP
Java
JavaScript
Node.js
Go语言
C++
HTML
公告
网站帮助 - Yoo趣儿
2022-03-27
我们的愿景
2022-03-27
在 Yoo趣儿 投放广告
2022-03-27
Yoo趣儿网站用户应遵守规则
2022-03-24
返回顶部