首页
论坛
Yoo趣儿
›
Geek
›
程序员
›
现在大型的爬虫项目用的是什么框架, scrapy 过时了吗 ...
现在大型的爬虫项目用的是什么框架, scrapy 过时了吗
查看
124
|
回复
3
作者:
pureGirl
发布时间:2025-11-26 00:39:05
面对动态页面和抗反爬稍微复杂点的就不行了吧
简单的网站依然可以用啊
爬虫
,
框架
,
Scrapy
相关帖子
•
我 ThreeJSON 又回来了: V 友们批评得对!已立正!这是一封感谢信
•
bootstrap这种框架,好像落伍了
•
给 Claude Code / Codex 加一个轻量级 AI 团队搭建框架
•
Nginx 禁止PC电脑和手机端访问 不影响蜘蛛抓取的方法
•
AI爬虫真多,使用了论坛的Nginx屏蔽规则,少了很多爬虫
•
在宝塔面板里用的 AI 爬虫屏蔽方案,Nginx 拦截
•
CF上面写着30K是不是流量.大约是多少个人访问.或者是多少条爬虫
•
如何实现禁止直接访问域名,仅允许外部链接和搜索引擎访问
•
你们的站有没有被美国各种AI爬虫爬得流量用完了.比DDOS还惨
•
写了一个 harness 框架 感觉现在永远都有新发现
bwnjnOEI
2025-11-26 00:39:39
scrapy 一直就不是单着用的吧?没过时,但是你可以学一下 playwright
donaldturinglee
2025-11-26 00:40:27
试试 DrissionPage ?
sgld
2025-11-26 00:41:24
简单就 scrapy ,复杂就不用框架,直接操作浏览器
例如
camoufox
patchwright
返回列表
您需要登录后才可以回帖
登录
|
立即注册
发表回复
搜索
热门主题
最近收BA的人很多 交易了要立刻取消BA 教训
刚看了一个视频,让我又清醒了一下
小小农民新开中转站,欢迎来踩
港版安卓机是满血的国际版安卓机吗?
我 ThreeJSON 又回来了: V 友们批评得对!
继之前 5.4 的 “收口”之后, 5.6 Sol 好
折腾 homelab 挺长时间了 建了一个群 想不
codex 打开风扇狂转怎么办
Vibe 的一个中文起名小工具
你们明天要去看周星驰的电影么?
热门板块
问与答
分享发现
分享创造
奇思妙想
分享邀请码
商业推广
优惠信息
Python
PHP
Java
JavaScript
Node.js
Go语言
C++
HTML
公告
网站帮助 - Yoo趣儿
2022-03-27
我们的愿景
2022-03-27
在 Yoo趣儿 投放广告
2022-03-27
Yoo趣儿网站用户应遵守规则
2022-03-24
返回顶部