首页
论坛
Yoo趣儿
›
Geek
›
程序员
›
爬虫怎么能把整个网站给爬下来
爬虫怎么能把整个网站给爬下来
查看
570
|
回复
23
wysnxzm
2024-8-2 19:10:19
爬虫小寄巧
hanierming
2024-8-2 19:10:53
@gaoyangang 那应该是会调接口的吧?你直接请求接口?
whoosy
2024-8-2 19:11:38
https://github.com/projectdiscovery/katana
这种开源库应该能满足你需求吧
linhongjun
2024-8-2 19:12:10
以前我记得还有那种网站下载的软件 就是下载整站。。。。后来就没用过了
xiangyuecn
2024-8-2 19:13:01
无头浏览器直接正常访问渲染,想要什么数据就读什么数据,管他乱七八糟的
150530
2024-8-2 19:13:35
http://wget.oiweb.cn/ 这种可以全站爬取
justwe7
2024-8-2 19:14:34
楼上老哥正解,单纯为了抓页面结构展示界面的话直接 https://pptr.dev/ 加延时等待渲染后拿代码
luolw1998
2024-8-2 19:15:29
@gaoyangang #6 国外网站直接读他们的 sitemap.xml, https://www.semrush.com/sitemap.xml
Mechanical
2024-8-2 19:16:13
Teleport Ultra
tool2dx
2024-8-2 19:17:08
@linhongjun 以前相关页面数据都是写在 index.html 里的。现在 index 里啥都没有,数据都是 ajax 动态读取的。
下一页 »
1
2
3
/ 3 页
下一页
返回列表
您需要登录后才可以回帖
登录
|
立即注册
发表回复
浏览过的版块
Windows
服务器
优惠信息
二手交易
分享发现
Google
HarmonyOS
问与答
通讯人
音乐电影
搜索
热门主题
有没有统计工具能够统计访问网站的是什么浏
iPhone 17 抢得到吗?
影音 yingyin. cn 10万,有要的吗?
你品,你细品!
3i atlas ,到底是不是外星飞船?
deeplseek量化炒股
分享一个我做的小网站: Emoji Directory
KAT-Coder 如何通过 claude cli 进行调用?
宁波市监回应网友理发一次花了6万
油价下调!加满一箱油省10.5元
热门板块
问与答
分享发现
分享创造
奇思妙想
分享邀请码
商业推广
优惠信息
Python
PHP
Java
JavaScript
Node.js
Go语言
C++
HTML
公告
网站帮助 - Yoo趣儿
2022-03-27
我们的愿景
2022-03-27
在 Yoo趣儿 投放广告
2022-03-27
Yoo趣儿网站用户应遵守规则
2022-03-24
返回顶部