V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
heyyyy
V2EX  ›  程序员

不懂就问: Spark 处理业务逻辑写 SQL 还是 DataFrame?

  •  
  •   heyyyy · 127 天前 · 1146 次点击
    这是一个创建于 127 天前的主题,其中的信息可能已经有所发展或是发生改变。

    性能上的差异是微乎其微的,Spark 底层都是转换成 RDD 执行。对于习惯写 SQL 的人来说,似乎关注 SQL 层面的优化即可。大佬们生产上都怎么用?

    5 条回复    2022-02-21 17:51:43 +08:00
    picone
        1
    picone  
       127 天前
    我觉得重点还是需要关注最终执行计划,怎么实现都不重要。看看 DAG 有没有可优化的地方,比如减少 shuffle 数据,把重复计算的地方 cahce 等等。
    liprais
        2
    liprais  
       127 天前 via iPhone
    写啥都一样
    sl19981007
        3
    sl19981007  
       126 天前
    sql 能实现的用 DataFrame 的各种函数也都能实现,看个人习惯吧,用哪个都能用到 Spark SQL 的各种优化机制,Catalyst 、Tungsten 等,重要的还是减少 shuffle 吧
    vincent7245
        4
    vincent7245  
       126 天前
    看具体业务啦,对于临时性的简单业务,一般公司大数据中台都可以直接把 sql 提交到 spark 运行,这样更灵活一些。对于复杂的业务,一条 sql 搞不定的,或者比较稳定的业务,就手撸 DataFrame
    Aksura
        5
    Aksura  
       126 天前
    混合着用,有的逻辑 SQL 写清晰,有的逻辑调用方法清晰。
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   4485 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 02:07 · PVG 10:07 · LAX 19:07 · JFK 22:07
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.