首页
论坛
Yoo趣儿
›
Geek
›
程序员
›
现在大型的爬虫项目用的是什么框架, scrapy 过时了吗 ...
现在大型的爬虫项目用的是什么框架, scrapy 过时了吗
查看
144
|
回复
3
作者:
pureGirl
发布时间:2025-11-26 00:39:05
面对动态页面和抗反爬稍微复杂点的就不行了吧
简单的网站依然可以用啊
爬虫
,
框架
,
Scrapy
相关帖子
•
怎么统计服务的真实的访问 IP?
•
AI 开发,框架的作用大还是模型的作用大
•
我 ThreeJSON 又回来了: V 友们批评得对!已立正!这是一封感谢信
•
bootstrap这种框架,好像落伍了
•
给 Claude Code / Codex 加一个轻量级 AI 团队搭建框架
•
Nginx 禁止PC电脑和手机端访问 不影响蜘蛛抓取的方法
•
AI爬虫真多,使用了论坛的Nginx屏蔽规则,少了很多爬虫
•
在宝塔面板里用的 AI 爬虫屏蔽方案,Nginx 拦截
•
CF上面写着30K是不是流量.大约是多少个人访问.或者是多少条爬虫
•
如何实现禁止直接访问域名,仅允许外部链接和搜索引擎访问
bwnjnOEI
2025-11-26 00:39:39
scrapy 一直就不是单着用的吧?没过时,但是你可以学一下 playwright
donaldturinglee
2025-11-26 00:40:27
试试 DrissionPage ?
sgld
2025-11-26 00:41:24
简单就 scrapy ,复杂就不用框架,直接操作浏览器
例如
camoufox
patchwright
返回列表
您需要登录后才可以回帖
登录
|
立即注册
发表回复
浏览过的版块
社会资讯
Java
搜索
热门主题
运行内存有点小了,应该换16+16的,哎
不得不说,我真的应该感谢AI,如果没有AI就
有老婆没老婆什么区别
星宇股份开除应届生的影响怎么那么大?
【高权限浏览器】让你的网页获得和原生应用
谁知道怎么设置才能防扒站呢?
服务恢复后再发福利,Manus开放数据恢复并
【网络电视】弹出式播放菜单可载入任务栏托
安卓轻量极简浏览器 Via浏览器 v7.3.0 谷歌
曾经的远古神登没人要?我果断续费,如今AI
热门板块
问与答
分享发现
分享创造
奇思妙想
分享邀请码
商业推广
优惠信息
Python
PHP
Java
JavaScript
Node.js
Go语言
C++
HTML
公告
网站帮助 - Yoo趣儿
2022-03-27
我们的愿景
2022-03-27
在 Yoo趣儿 投放广告
2022-03-27
Yoo趣儿网站用户应遵守规则
2022-03-24
返回顶部