首页
论坛
Yoo趣儿
›
Geek
›
程序员
›
爬虫怎么能把整个网站给爬下来
爬虫怎么能把整个网站给爬下来
查看
550
|
回复
23
wysnxzm
2024-8-2 19:10:19
爬虫小寄巧
hanierming
2024-8-2 19:10:53
@gaoyangang 那应该是会调接口的吧?你直接请求接口?
whoosy
2024-8-2 19:11:38
https://github.com/projectdiscovery/katana
这种开源库应该能满足你需求吧
linhongjun
2024-8-2 19:12:10
以前我记得还有那种网站下载的软件 就是下载整站。。。。后来就没用过了
xiangyuecn
2024-8-2 19:13:01
无头浏览器直接正常访问渲染,想要什么数据就读什么数据,管他乱七八糟的
150530
2024-8-2 19:13:35
http://wget.oiweb.cn/ 这种可以全站爬取
justwe7
2024-8-2 19:14:34
楼上老哥正解,单纯为了抓页面结构展示界面的话直接 https://pptr.dev/ 加延时等待渲染后拿代码
luolw1998
2024-8-2 19:15:29
@gaoyangang #6 国外网站直接读他们的 sitemap.xml, https://www.semrush.com/sitemap.xml
Mechanical
2024-8-2 19:16:13
Teleport Ultra
tool2dx
2024-8-2 19:17:08
@linhongjun 以前相关页面数据都是写在 index.html 里的。现在 index 里啥都没有,数据都是 ajax 动态读取的。
下一页 »
1
2
3
/ 3 页
下一页
返回列表
您需要登录后才可以回帖
登录
|
立即注册
发表回复
浏览过的版块
社会资讯
优惠信息
服务器
站长
分享发现
HarmonyOS
Windows
二手交易
问与答
Apple
搜索
热门主题
在北京花 4500 租房,很奢侈么?
又一个!美军四星上将辞职
小米回应汽车突然自己开走
普京称某国准备进行核试验
又一个!美军四星上将辞职
巴西全球最大“蚊子工厂”准备投产
特朗普宣布与贩毒集团“开战”
求帮写个小软件,文件按份数批量移动到文件
俄男子涉嫌传递情报被捕
陕西一新郎婚礼前跳河
热门板块
问与答
分享发现
分享创造
奇思妙想
分享邀请码
商业推广
优惠信息
Python
PHP
Java
JavaScript
Node.js
Go语言
C++
HTML
公告
网站帮助 - Yoo趣儿
2022-03-27
我们的愿景
2022-03-27
在 Yoo趣儿 投放广告
2022-03-27
Yoo趣儿网站用户应遵守规则
2022-03-24
返回顶部