首页
论坛
Yoo趣儿
›
Geek
›
程序员
›
现在大型的爬虫项目用的是什么框架, scrapy 过时了吗 ...
现在大型的爬虫项目用的是什么框架, scrapy 过时了吗
查看
113
|
回复
3
作者:
pureGirl
发布时间:2025-11-26 00:39:05
面对动态页面和抗反爬稍微复杂点的就不行了吧
简单的网站依然可以用啊
爬虫
,
框架
,
Scrapy
相关帖子
•
给 Claude Code / Codex 加一个轻量级 AI 团队搭建框架
•
Nginx 禁止PC电脑和手机端访问 不影响蜘蛛抓取的方法
•
AI爬虫真多,使用了论坛的Nginx屏蔽规则,少了很多爬虫
•
在宝塔面板里用的 AI 爬虫屏蔽方案,Nginx 拦截
•
如何实现禁止直接访问域名,仅允许外部链接和搜索引擎访问
•
你们的站有没有被美国各种AI爬虫爬得流量用完了.比DDOS还惨
•
写了一个 harness 框架 感觉现在永远都有新发现
•
Cloudflare 的 5 秒盾/Turnstile 真的无敌吗? CapSolver 这类 api 到底靠不靠谱?
•
蜘蛛池技术解析:网站收录提速的关键工具与运营策略
•
CF上面写着30K是不是流量.大约是多少个人访问.或者是多少条爬虫
bwnjnOEI
2025-11-26 00:39:39
scrapy 一直就不是单着用的吧?没过时,但是你可以学一下 playwright
donaldturinglee
2025-11-26 00:40:27
试试 DrissionPage ?
sgld
2025-11-26 00:41:24
简单就 scrapy ,复杂就不用框架,直接操作浏览器
例如
camoufox
patchwright
返回列表
您需要登录后才可以回帖
登录
|
立即注册
发表回复
搜索
热门主题
免费分享| 2 个 ChatGPT Plus 名额,有需
去复旦大学附属眼耳鼻喉医院看鼻炎有感之看
中小网站没有前途啦?还不如刷刷短剧实在
TP-LINK 7DR7290、TUF 6500、TUF 3600V2 三
我给 codex 做了一个外挂知识库--codex-bra
基于 MLX Vibe 了一个本地翻译工具, AI 做
坐标成都,孩子小升初,大家有提前安排学奥
x 从前天开始无法登陆,无法找回密码,自动
现在外包签的都是劳务合同?
apple 涨价,心态炸了,紧急补仓!
热门板块
问与答
分享发现
分享创造
奇思妙想
分享邀请码
商业推广
优惠信息
Python
PHP
Java
JavaScript
Node.js
Go语言
C++
HTML
公告
网站帮助 - Yoo趣儿
2022-03-27
我们的愿景
2022-03-27
在 Yoo趣儿 投放广告
2022-03-27
Yoo趣儿网站用户应遵守规则
2022-03-24
返回顶部