多用户的爬虫服务,如何分配资源,确保每个用户的任务都能执行?

查看 30|回复 0
作者:callmejoejoe   
想用 Scrapy 做一个爬虫服务帮用户爬取数据,比如有 50 个用户,每个用户都同时创建了爬取任务,如何分配资源,确保每个用户的任务都能执行?
问了一下 ChatGPT ,但好像没有解决我的疑问。所以来请教一下,感激不尽!
您需要登录后才可以回帖 登录 | 立即注册

返回顶部