V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
winchang
V2EX  ›  程序员

想研究 Spark RPC 的主 er,有福了

  •  
  •   winchang · 2022-09-04 10:35:27 +08:00 · 1773 次点击
    这是一个创建于 571 天前的主题,其中的信息可能已经有所发展或是发生改变。

    为啥说有福?

    • 把 rpc 模块从 spark 源码里面拆出来,可以独立运行
    • 代码量少了 N 倍,不在惧怕海量代码
    • 对比 Akka Actor ,实现 Hello World

    看大型源码库不易,期待您的鼓励: https://github.com/changzhiwin/spark-rpc

    15 条回复    2023-01-03 21:48:46 +08:00
    lmshl
        1
    lmshl  
       2022-09-04 12:46:32 +08:00
    感觉不如去研究 ScalaPB 或者 akka-grpc ,那才是真正的通用 RPC 框架

    真要是对比 RPC 框架的话也不应该拿 Akka actor 对比,Akka remote/cluster/sharding 那都是做分布式系统建模的,压根不是给通用 rock 场景准备的方案
    lmshl
        2
    lmshl  
       2022-09-04 12:50:01 +08:00
    *typo: rock -> rpc
    tyrantlucifer
        3
    tyrantlucifer  
       2022-09-04 13:41:01 +08:00
    不错,好东西,支持一下。
    winchang
        4
    winchang  
    OP
       2022-09-04 14:25:56 +08:00
    @lmshl 你说没问题,不是要对比出个啥子。
    只是在研究 spark core 的时候,顺便把 rpc 理解了下。
    又因为早期 spark 的版本是用的 akka ,后面 Spark 采用了自己实现的简版 rpc 。
    纯粹技术学习,不是为了说明好与坏。
    lmshl
        5
    lmshl  
       2022-09-07 11:30:14 +08:00
    @winchang 如果有意向研究 Scala 方向的技术的话,建议沿着你 quill + http4s 那条路(changzhiwin/mvc-quill)接着走,比如从 quill 层直接返回 cats-effect 的 IO ,全程不参与 Future 。还有用 Tagless final 来替换 class 构造参数的注入形式等等
    winchang
        6
    winchang  
    OP
       2022-09-07 19:49:51 +08:00
    @lmshl 你说这个路子,国内很少有应用的,工作机会少是个问题。
    lmshl
        7
    lmshl  
       2022-09-07 20:26:40 +08:00
    @winchang 扎心了,扎心了

    不过说真的,我要是失业了,我就学好英语去卷国外的远程工作,函数式方向时薪能给到 $100/h 左右
    winchang
        8
    winchang  
    OP
       2022-09-07 21:15:48 +08:00
    @lmshl 学好英语,是比编程、看源代码至少难一个数量级的事情。卷国外远程,需要流利的英语口语(我过的亏,是写不出来的)。
    winchang
        9
    winchang  
    OP
       2022-09-07 21:17:26 +08:00
    @lmshl 介绍个机会,我大概率能把 quill + http4s 研究的明明白白。
    hepin1989
        10
    hepin1989  
       2022-10-14 02:19:20 +08:00
    给 Akka 贡献点吧,thanks , 给 fork 贡献点也行
    winchang
        11
    winchang  
    OP
       2022-11-13 17:04:03 +08:00
    @hepin1989 你们有贡献 Akka ?
    hepin1989
        12
    hepin1989  
       2022-11-14 18:54:38 +08:00
    @winchang 我个人有一些的。
    winchang
        13
    winchang  
    OP
       2022-11-14 19:00:46 +08:00
    @hepin1989 follow you
    winchang
        14
    winchang  
    OP
       2022-11-14 19:02:52 +08:00
    akka 的 LICENSE 换了吧,玩法有不一样吗?
    sinboy1988
        15
    sinboy1988  
       2023-01-03 21:48:46 +08:00 via Android
    start ➕1 ,关注
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1193 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 18:23 · PVG 02:23 · LAX 11:23 · JFK 14:23
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.