使用 Airflow 管理容器化运行的定时任务有没有什么坑?

查看 35|回复 3
作者:lvhuiyang   
背景:手里的项目是 Django 项目,定时任务是用的 Celery 库来集成到 Django 中,随着定时任务的增多,变得不太好管理(可视化监控、异常重试、报警等),并且有些定时任务并非使用 Python 编写,无法集成到 Celery 中,因此想用专门的定时任务管理的系统来解决这个问题。
思路:部署一套 Airflow 系统,然后 Django 项目(或者其他编程语言的项目)打包为 Docker 镜像,每次定时任务运行 docker run --rm ... 来启动一个容器,并在运行完成后删掉。
请教大家这个方式有没有什么坑?有没有过来人说一下?
回帖后必回感谢红心,谢谢 !
PeiXyJ   
直接用 XXL-job 做定时任务管理不行么? 为什么还要引入 Docker ?
David1119   
airflow 挺好的,就是不太轻量,感觉有些占资源。还有个 perfect 可以看看,没具体用过,可以都搭一下对比对比。https://github.com/PrefectHQ/prefect
ddkk1112   
airflow 挺好的,但是稍微有点重
重要一点,airflow 用 postgres 做管理数据库,mysql 会不定时崩溃
您需要登录后才可以回帖 登录 | 立即注册

返回顶部