Yoo趣儿

Yoo趣儿 › Geek › 程序员 › 爬虫怎么能把整个网站给爬下来

爬虫怎么能把整个网站给爬下来

查看 290|回复 23
wysnxzm   
爬虫小寄巧
hanierming   
@gaoyangang 那应该是会调接口的吧？你直接请求接口？
whoosy   
https://github.com/projectdiscovery/katana
这种开源库应该能满足你需求吧
linhongjun   
以前我记得还有那种网站下载的软件 就是下载整站。。。。后来就没用过了
xiangyuecn   
无头浏览器直接正常访问渲染，想要什么数据就读什么数据，管他乱七八糟的
150530   
http://wget.oiweb.cn/ 这种可以全站爬取
justwe7   
楼上老哥正解，单纯为了抓页面结构展示界面的话直接 https://pptr.dev/ 加延时等待渲染后拿代码
luolw1998   
@gaoyangang #6 国外网站直接读他们的 sitemap.xml, https://www.semrush.com/sitemap.xml
Mechanical   
Teleport Ultra
tool2dx   
@linhongjun 以前相关页面数据都是写在 index.html 里的。现在 index 里啥都没有，数据都是 ajax 动态读取的。
下一页 »
123下一页
返回列表
您需要登录后才可以回帖 登录 | 立即注册

AD1

热门主题

热门板块

问与答分享发现分享创造奇思妙想分享邀请码商业推广优惠信息PythonPHPJavaJavaScriptNode.jsGo语言C++HTML

公告

标签|小黑屋|Yoo趣儿

GMT+8, 2024-9-22 11:42 , Processed in 0.014268 second(s), 10 queries , Gzip On, MemCached On.

Powered by Discuz! X3.2

The happiest thing in the world is to strive for an ideal.

返回顶部