Yoo趣儿

Yoo趣儿 › Geek › 程序员 › Python aiohttp 异步 需要同时请求同域名下 8000 个 URL ...

Python aiohttp 异步 需要同时请求同域名下 8000 个 URL（对方网站无并发限制）把结果拼接返回，要求总耗时最短， 8000 个同时发还是先发 1000 个，不等待结果，间隔 0.1 秒再发下一批快？

查看 8|回复 0
作者：drymonfidelia   
爬虫，所有同行爬的都比我们快，不知道为什么
别人 1 秒更新，我们上了 10 台服务器还是慢别人 3 秒
返回列表
您需要登录后才可以回帖 登录 | 立即注册

AD1

热门主题

热门板块

问与答分享发现分享创造奇思妙想分享邀请码商业推广优惠信息PythonPHPJavaJavaScriptNode.jsGo语言C++HTML

公告

标签|小黑屋|Yoo趣儿

GMT+8, 2025-2-9 08:25 , Processed in 0.007952 second(s), 7 queries , Gzip On, MemCached On.

Powered by Discuz! X3.2

The happiest thing in the world is to strive for an ideal.

返回顶部