先说问题:
[ol]
[/ol]
具体是:
有个 web 界面上传插件,然后在界面上面配置几个插件执行。这个任务会按照设置好的周期执行。
插件的流程是具体的 为:查询数据--处理数据--发送数据
查询到的数据每次大概有 1000 条,占用 10 兆左右的内存,每天大概有 7000 万条数据
现在我的做法:
[ol]
[/ol]
上面为什么要用 importlib 载入到内存中,是因为一开始尝试用命令行直接 python xxx.py 执行插件。但是这个调用行为属于高频操作,每天大概要调用几百万次。每次重新开启 python 虚拟机,速度根本就跟不上。所以后来改成直接载入到内存,通过函数调用。
求助大佬们,有没有开源的框架能够胜任这种情况的?已经尽可能精简了,希望大佬们留下一点点意见。