首页
论坛
Yoo趣儿
›
Geek
›
程序员
›
爬虫怎么能把整个网站给爬下来
爬虫怎么能把整个网站给爬下来
查看
500
|
回复
23
wysnxzm
2024-8-2 19:10:19
爬虫小寄巧
hanierming
2024-8-2 19:10:53
@gaoyangang 那应该是会调接口的吧?你直接请求接口?
whoosy
2024-8-2 19:11:38
https://github.com/projectdiscovery/katana
这种开源库应该能满足你需求吧
linhongjun
2024-8-2 19:12:10
以前我记得还有那种网站下载的软件 就是下载整站。。。。后来就没用过了
xiangyuecn
2024-8-2 19:13:01
无头浏览器直接正常访问渲染,想要什么数据就读什么数据,管他乱七八糟的
150530
2024-8-2 19:13:35
http://wget.oiweb.cn/ 这种可以全站爬取
justwe7
2024-8-2 19:14:34
楼上老哥正解,单纯为了抓页面结构展示界面的话直接 https://pptr.dev/ 加延时等待渲染后拿代码
luolw1998
2024-8-2 19:15:29
@gaoyangang #6 国外网站直接读他们的 sitemap.xml, https://www.semrush.com/sitemap.xml
Mechanical
2024-8-2 19:16:13
Teleport Ultra
tool2dx
2024-8-2 19:17:08
@linhongjun 以前相关页面数据都是写在 index.html 里的。现在 index 里啥都没有,数据都是 ajax 动态读取的。
下一页 »
1
2
3
/ 3 页
下一页
返回列表
您需要登录后才可以回帖
登录
|
立即注册
发表回复
浏览过的版块
通讯人
服务器
分享发现
优惠信息
Google
HarmonyOS
问与答
Python
Apple
社会资讯
搜索
热门主题
ioio事件是什么鬼?
养老贷又来了,贷贷相传啊
今天要撸2次
好评有礼给的是红包还是优惠卷
现在干啥都太难了,珍惜吧
淘宝现在也好难搞啊
现在的ai能生产图文结合的内容吗
周固固突然发飙了,谁惹他了呢?吃光群众等
怎么吵架了啊
老坛们看过来,周固固同志狂撒金币。折射一
热门板块
问与答
分享发现
分享创造
奇思妙想
分享邀请码
商业推广
优惠信息
Python
PHP
Java
JavaScript
Node.js
Go语言
C++
HTML
公告
网站帮助 - Yoo趣儿
2022-03-27
我们的愿景
2022-03-27
在 Yoo趣儿 投放广告
2022-03-27
Yoo趣儿网站用户应遵守规则
2022-03-24
返回顶部