求问各位做科学计算/生物信息学相关的同行

查看 24|回复 1
作者:Aicnal   
我刚才云原生转向生物信息学相关的领域,对这个领域的一些工作流的调度还不太了解,经常浪费时间处理在把本地任务部署到集群上
我使用的是snakemake来编排整个工作流,因为我本地开发的环境是 Ubuntu ,然后集群是 CentOS ,所以我每次都必须打包一个非常大的容器(把整个snakemake都打包进去),这个过程非常消耗时间,而且如果是修改了简单了一个步骤,就需要等待非常久的时间,不利于敏捷开发
想知道各位老师在做相关的训练或者任务提交的时候都是怎样做的,怎样的实现才是优雅且轻量的呢?

科学计算, 生物信息学, 工作流调度

LoveMyself546   
容器指的是 Docker 吗?
可以把 snakemake 运行环境打包成一个基础环境镜像,然后另外打包一个包含运行代码的镜像,在 Dockerfile 中用 FROM 来使用基础环境镜像就可以了。
先上传基础环境镜像到服务器,后续代码改变就只需要更新代码的镜像就可以了。
您需要登录后才可以回帖 登录 | 立即注册

返回顶部