首页
论坛
Yoo趣儿
›
Geek
›
程序员
›
现在大型的爬虫项目用的是什么框架, scrapy 过时了吗 ...
现在大型的爬虫项目用的是什么框架, scrapy 过时了吗
查看
143
|
回复
3
作者:
pureGirl
发布时间:2025-11-26 00:39:05
面对动态页面和抗反爬稍微复杂点的就不行了吧
简单的网站依然可以用啊
爬虫
,
框架
,
Scrapy
相关帖子
•
怎么统计服务的真实的访问 IP?
•
AI 开发,框架的作用大还是模型的作用大
•
bootstrap这种框架,好像落伍了
•
给 Claude Code / Codex 加一个轻量级 AI 团队搭建框架
•
Nginx 禁止PC电脑和手机端访问 不影响蜘蛛抓取的方法
•
AI爬虫真多,使用了论坛的Nginx屏蔽规则,少了很多爬虫
•
CF上面写着30K是不是流量.大约是多少个人访问.或者是多少条爬虫
•
如何实现禁止直接访问域名,仅允许外部链接和搜索引擎访问
•
在宝塔面板里用的 AI 爬虫屏蔽方案,Nginx 拦截
•
我 ThreeJSON 又回来了: V 友们批评得对!已立正!这是一封感谢信
bwnjnOEI
2025-11-26 00:39:39
scrapy 一直就不是单着用的吧?没过时,但是你可以学一下 playwright
donaldturinglee
2025-11-26 00:40:27
试试 DrissionPage ?
sgld
2025-11-26 00:41:24
简单就 scrapy ,复杂就不用框架,直接操作浏览器
例如
camoufox
patchwright
返回列表
您需要登录后才可以回帖
登录
|
立即注册
发表回复
搜索
热门主题
有老婆没老婆什么区别
星宇股份开除应届生的影响怎么那么大?
【高权限浏览器】让你的网页获得和原生应用
谁知道怎么设置才能防扒站呢?
服务恢复后再发福利,Manus开放数据恢复并
【网络电视】弹出式播放菜单可载入任务栏托
安卓轻量极简浏览器 Via浏览器 v7.3.0 谷歌
曾经的远古神登没人要?我果断续费,如今AI
七牛云就是大骗子,说10g存储oss免费,原来
最近几个月微信小程序收益又下降了,从每月
热门板块
问与答
分享发现
分享创造
奇思妙想
分享邀请码
商业推广
优惠信息
Python
PHP
Java
JavaScript
Node.js
Go语言
C++
HTML
公告
网站帮助 - Yoo趣儿
2022-03-27
我们的愿景
2022-03-27
在 Yoo趣儿 投放广告
2022-03-27
Yoo趣儿网站用户应遵守规则
2022-03-24
返回顶部