抓取 Twitter, Quora, Reddit 的指定 url 的内容的方法?

查看 50|回复 1
作者:cloud2000   
我试了 scapy/request/BeautifulSoup 的方案,只能抓一般网站。
用来抓 Twitter, Quora 会显示“javascript 不支持"等,Reddit 只能抓到楼主的提问,回复全部抓不到。
后来改成用 Selenium 倒是可以全部抓了,但是 Selenium 方案太重了。
请问:
1.有没有优雅方案可以抓上述几个社交平台指定 url 的内容?
2.如果没有,有第三方的 API (可以接受付费)支持吗?

Selenium, quora, reddit, url

Retool   
https://rapidapi.com/hub
里面有很多别人提供的非官方 API ,比如 Twitter API 就有很多,可以对比一下价格选一个划算的(有些免费额度也很高)
您需要登录后才可以回帖 登录 | 立即注册

返回顶部