[dataworks 技术求助贴] 如何通过 sql 语句调用 odps datafrme,提高运行速度

2023-10-10 16:54:09 +08:00
 littleJohn

我看了阿里云的 dataworks 文档: pyodps 读取 sql 类型是 pandas dataframe 是数据下载到本地,如果后续操作的都是本地的 DataFrame ,速度很慢; 而直接读取表是 odps datafrme 可以利用 maxcompute 分布式,这些接口最终都会翻译成 SQL 到 MaxCompute 计算集群做分布式计算,并且本地几乎没有任何的内存消耗,相比于单机有很大的性能提升.

我现在的问题是 我要处理数据量很大( 3000 万)需要关联多张表,并且 pyodps 中涉及参数传入 sql,这种情况下应该怎么处理?才能既可以写复杂 sql 又可以调用 odps datafrme 可以利用 maxcompute 分布式。(或者是否有其他更好的方式) ps:pandas dataframe 和 odps dataframe 接口 很多不一样,而且我看了阿里的 dataworks 和 pyodps 文档 接口写的很粗糙(可能是我的问题),所以想请问是否还有其他的文档。 在这里先谢谢各位大佬了。希望有人能指点。

530 次点击
所在节点    数据库
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/980693

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX