V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
ufo22940268
V2EX  ›  程序员

各位 spark 上用的语言是 Python 还是 scala

  •  
  •   ufo22940268 ·
    ufo22940268 · Nov 28, 2017 · 22126 views
    This topic created in 3073 days ago, the information mentioned may be changed or developed.

    我们用的是 Python,但是 python 上还是少了一些功能,比如说 udaf

    想问下大家用的是哪个语言,有没有必要从 python 切换到 scala

    Supplement 1  ·  Dec 7, 2017
    用了一段时间 scala 之后觉得对我来说从 python 切换到 scala 是明智的决定
    35 replies    2020-03-11 15:03:14 +08:00
    echo1937
        1
    echo1937  
       Nov 28, 2017 via iPhone
    用的 Java,学习 Scala 的成本有点高
    tinybaby365
        2
    tinybaby365  
       Nov 28, 2017 via iPhone
    Scala,越用越喜欢
    ihainan
        3
    ihainan  
       Nov 28, 2017 via Android
    Scala。
    anjunecha
        4
    anjunecha  
       Nov 28, 2017 via iPhone
    python 和 java 都有,想学 Scala
    kuroismith
        5
    kuroismith  
       Nov 28, 2017
    我们用的 kotlin, scala 学习成本太高了
    kotlin 非常容易上手, 写起来至少有 scala 8 成体验
    teloti
        6
    teloti  
       Nov 28, 2017 via iPhone
    python+spark 有性能问题,java 和 Scala 靠谱一些,Scala 是 spark 标配
    knightdf
        7
    knightdf  
       Nov 28, 2017
    必须 scala, 再怎么也得 java,不会选择 python
    burnex
        8
    burnex  
       Nov 28, 2017
    网上看大家都用 scala,就用的 scala
    lianxiaoyi
        9
    lianxiaoyi  
       Nov 28, 2017
    python 最简单。。。所以用的 python。。。。。
    wusuopuBUPT
        10
    wusuopuBUPT  
       Nov 28, 2017
    Scala,可以用最新的 feature
    bnbvb
        11
    bnbvb  
       Nov 28, 2017
    python 可以,听了前两天 java 迭代计划,新的 feature 出的会比以前快多了,而就新公布的语法糖来看,会跟 scala 之类的语言越长越像(chao de kuai),学习 scala 动力不足了。
    90928yao
        12
    90928yao  
       Nov 28, 2017
    @kuroismith kotlin 还是用的 JAVARDD 把,还是有点蹩脚把
    bramblex
        13
    bramblex  
       Nov 28, 2017   ❤️ 1
    被 Haskell 虐过的表示...
    楼上说学 scala 学习成本高?
    ufo22940268
        14
    ufo22940268  
    OP
       Nov 28, 2017 via iPhone
    @bnbvb 能不能发个链接给我
    bigknife
        15
    bigknife  
       Nov 28, 2017   ❤️ 1
    首选 Scala !

    如果把 Scala 当作 Better Java 其实学起来并不难,仅仅是一些语法上的变换,一旦学会了 Scala 的语法以后,再也不想写 Java 代码了,然后真的理解了为什么那么多人说 Java 非常啰嗦!

    如果把编程范式一起也变了(命令式 -> 函数式),那还是有一定难度的,关键是思想的改变,推荐 Scala 的红宝书《 Functional Programming in Scala 》,https://www.manning.com/books/functional-programming-in-scala 网上也有英文的 pdf 版本,国内有一个翻译版,英文好的同学建议看英文版,因为有些东西翻译过来后,感觉怪怪的,不容英文容易懂。

    另外我们团队有一个分享视频集合,对大家学习 Scala 有帮助:
    ?spm=a2hzp.8244740.0.0&f=51304613 如果大家发现里面有什么错误可以跟我交流:bigknife AT outlook.com
    bigknife
        16
    bigknife  
       Nov 28, 2017
    @bramblex 学会 Haskell,走遍天下都不怕,上通 Scala,下探 Rust
    hwsdien
        17
    hwsdien  
       Nov 28, 2017
    scala
    wilsonwen
        18
    wilsonwen  
       Nov 28, 2017 via Android
    人生苦短,我用 scala
    Todd_Leo
        19
    Todd_Leo  
       Nov 28, 2017
    写了几年 Scala 之后再写 Python 感觉动态类型语言随时都是心惊肉跳...
    linuxchild
        20
    linuxchild  
       Nov 28, 2017
    最近开始写 spark,前两天看同时写了一下午 Scala,然后发现有点问题,和我之前写的 python 程序做一下对比,发现 py 2 行就搞定了,他有一些崩溃……

    不过我还是开始学习 Scala 了
    90928yao
        21
    90928yao  
       Nov 28, 2017
    @linuxchild scala 那 2 行肯定也可以。。。
    linuxchild
        22
    linuxchild  
       Nov 28, 2017
    @90928yao 发现打错字了,应该是 看同事。

    哈哈,数了数,好像也没超过 10 行。

    没接触过 Scala 和 Java 还是觉得好复杂啊 Orz
    lszxlong
        23
    lszxlong  
       Nov 28, 2017
    必须 scala,好像 scala 语言排名下降了..
    90928yao
        24
    90928yao  
       Nov 28, 2017
    @linuxchild 感觉 scala 算是最复杂的语言之一了
    secondwtq
        25
    secondwtq  
       Nov 28, 2017
    @bigknife 学会 Haskell 还真不一定能通 Scala ...
    https://zhuanlan.zhihu.com/p/27610478 来看这个
    owenliang
        26
    owenliang  
       Nov 28, 2017 via Android
    大数据生态基本不离开 jvm,逼你上船。
    bnbvb
        27
    bnbvb  
       Nov 28, 2017
    bnbvb
        28
    bnbvb  
       Nov 28, 2017
    Comdex
        29
    Comdex  
       Nov 28, 2017
    java
    SlipStupig
        30
    SlipStupig  
       Nov 28, 2017
    python 跑 spark 巨难用,前段时间用 spark 读写 es, python 连 API 都没有
    gyf304
        31
    gyf304  
       Nov 29, 2017
    scala. scala 比 python 效率高 如果要用 graphX 的话只能用 scala
    lzhCoooder
        32
    lzhCoooder  
       Nov 29, 2017
    pyspark 阉割版啊
    xiaoshenke
        33
    xiaoshenke  
       Nov 29, 2017
    有什么区别,不还是 spark。。。。。。。。。
    swordspoet
        34
    swordspoet  
       Apr 17, 2019
    Scala 给人的感觉就是这也可以,那也可以。
    ivanchou
        35
    ivanchou  
       Mar 11, 2020
    楼主能讲讲 Scala 相比于 python 的优势在哪里么?同时为什么 pass 掉了 java。在我看来写 spark 程序,scala、java 都跑在 jvm 上,差别会很大?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1446 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 84ms · UTC 16:55 · PVG 00:55 · LAX 09:55 · JFK 12:55
    ♥ Do have faith in what you're doing.