当需要数据聚合查询的时候,你们是选择用数据库的聚合,还是数据库查出来使用 pandas 聚合?

查看 33|回复 1
作者:wxiao333   
最近在写一个基于 MongoDB 的项目(第一次用,之前主要用 Mysql ),涉及到聚合查询的时候,搜了一下发现聚合查询需要用 pipeline, 因为项目的数据有点复杂,写聚合 pipeline 特别别扭,也容易出错,然后突然想起来我用的既然是 python ,岂不是可以先从数据库把数据查出来,再用 pandas 做聚合?试了一下,各种复杂聚合果然很快就实现了,有一种思维打开的感觉。
效率方面没有实际验证过,但感觉上数据库原生聚合 效率会比 查出来再 pandas 要高一点的,不过太复杂的聚合可能数据库不一定能完全实现,这时候用 pandas 就方便多了。
你会怎么选呢?
ruanimal   
看数据量啊
您需要登录后才可以回帖 登录 | 立即注册

返回顶部