python新手求助,想找一个框架或系统

查看 33|回复 0
作者:ccav213   
有A, B, C等多个程序
使用A程序的数据会公布到A网站,使用B程序的数据会公布到B网站,以此类推,他们会公示一两天,这个期间数据会不停新增更新。
这些数据都是
[color=]公开透明
的(可以采集,但要降低频率,不能影响人家网站正常运行),用户用起来很麻烦,会在多个网站切换,
因为他们的数据质量参差不齐,展示的侧重点也不一样,我想把这些数据优化一下,然后做一个整合,直接在我们的app上就全部能看到
我现在想做的是收集这几个网站的每日更新,然后经过我们的筛选,点击添加采集,
爬虫发现任务后,自动根据数据来源去采集,,
[color=]爬虫我自己写(
[color=]练手
[color=])
我是Python初学者,有没有类似已经集成好的项目,我研究一下,
我们后台是JAVA,要能看到有多少个正在执行的爬虫,
注意,A网站一天可能会公布多个数据,数据1,数据2
如果都添加到任务,爬虫都要能采集

数据, 爬虫

您需要登录后才可以回帖 登录 | 立即注册

返回顶部