最近在学习 python 爬虫:使用 pyrequests 对一个文档中的 url 逐行进行前端数据爬取,再通过 Beautifulisoup 简单处理后输出到本地 txt 中。 但是在执行过程中发现平均 3s-5s 才能处理完成一个 url,是因为我的脚本流程问题,还是其他原因?希望有大佬可以解答一下,非常感谢
正常的 “再通过 Beautifulisoup 简单处理后输出到本地 txt 中” 这部份不到 0.5 秒,就是说 2.5s 完成网络请求算快的了 不急着需要的话,单线程也没所谓,我很多时候为了防反爬,还要 sleep 几秒呢