[dataworks 技术求助贴] 如何通过 sql 语句调用 odps datafrme,提高运行速度

查看 19|回复 0
作者:littleJohn   
我看了阿里云的 dataworks 文档:
pyodps 读取 sql 类型是 pandas dataframe 是数据下载到本地,如果后续操作的都是本地的 DataFrame ,速度很慢;
而直接读取表是 odps datafrme 可以利用 maxcompute 分布式,这些接口最终都会翻译成 SQL 到 MaxCompute 计算集群做分布式计算,并且本地几乎没有任何的内存消耗,相比于单机有很大的性能提升.
我现在的问题是 我要处理数据量很大( 3000 万)需要关联多张表,并且 pyodps 中涉及参数传入 sql,这种情况下应该怎么处理?才能既可以写复杂 sql 又可以调用 odps datafrme 可以利用 maxcompute 分布式。(或者是否有其他更好的方式)
ps:pandas dataframe 和 odps dataframe 接口 很多不一样,而且我看了阿里的 dataworks 和 pyodps 文档 接口写的很粗糙(可能是我的问题),所以想请问是否还有其他的文档。
在这里先谢谢各位大佬了。希望有人能指点。
您需要登录后才可以回帖 登录 | 立即注册

返回顶部