心血来潮写了一个推特图片、视频爬虫工具

查看 24|回复 0
作者:Plumbiu   
用的是 nodejs 写的,主要还是对 python 不太熟悉。
大致原理就是使用 puppeteer 模拟浏览器的行为,监听网络请求和响应等。
目前的做法可能不是最佳实践,因为网络环境不好的时候会出现遗漏情况,而且速度方面可能欠佳(模拟滚动页面的时间比较长)。
项目的地址:
https://github.com/Plumbiu/twid
您需要登录后才可以回帖 登录 | 立即注册

返回顶部