Scrapy 异步问题求助

查看 48|回复 1
作者:kekeones   
使用 Scrapy 爬取内容,使用 Pipeline 将处理后内容 POST 到远程。
使用request是同步的会有阻塞。
使用scrapy.FormRequest受限于全局DOWNLOAD_DELAY限制,每次 POST 都会有延迟。
使用 treq ,不确定如何获取内容
async def process_post(self, url, data):
    req = treq.post(url, data=data)
    res = await deferred_to_future(req)
    return res
如何获取 res 的内容,打印是[tr]

Scrapy, res, post, Data

encro   
不看源码?
看 treq.response._Response 的源码啊!!!
您需要登录后才可以回帖 登录 | 立即注册

返回顶部