pyodps 读取 sql 类型是 pandas dataframe 是数据下载到本地,如果后续操作的都是本地的 DataFrame ,速度很慢;
而直接读取表是 odps datafrme 可以利用 maxcompute 分布式,这些接口最终都会翻译成 SQL 到 MaxCompute 计算集群做分布式计算,并且本地几乎没有任何的内存消耗,相比于单机有很大的性能提升.
我现在的问题是 我要处理数据量很大( 3000 万)需要关联多张表,并且 pyodps 中涉及参数传入 sql,这种情况下应该怎么处理?才能既可以写复杂 sql 又可以调用 odps datafrme 可以利用 maxcompute 分布式。(或者是否有其他更好的方式)
ps:pandas dataframe 和 odps dataframe 接口 很多不一样,而且我看了阿里的 dataworks 和 pyodps 文档 接口写的很粗糙(可能是我的问题),所以想请问是否还有其他的文档。
在这里先谢谢各位大佬了。希望有人能指点。