使用A程序的数据会公布到A网站，使用B程序的数据会公布到B网站，以此类推，他们会公示一两天，这个期间数据会不停新增更新。
这些数据都是
[color=]公开透明
的（可以采集，但要降低频率，不能影响人家网站正常运行），用户用起来很麻烦，会在多个网站切换，
因为他们的数据质量参差不齐，展示的侧重点也不一样，我想把这些数据优化一下，然后做一个整合，直接在我们的app上就全部能看到
我现在想做的是收集这几个网站的每日更新，然后经过我们的筛选，点击添加采集，
爬虫发现任务后，自动根据数据来源去采集，，
[color=]爬虫我自己写（
[color=]练手
[color=]）
我是Python初学者，有没有类似已经集成好的项目，我研究一下，
我们后台是JAVA，要能看到有多少个正在执行的爬虫，
注意，A网站一天可能会公布多个数据，数据1，数据2
如果都添加到任务，爬虫都要能采集
