V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
BrightLiao
V2EX  ›  程序员

数据技术选型是一个难题,分享一下项目中的实战经验。

  •  
  •   BrightLiao ·
    gmlove · 2022-10-31 09:50:17 +08:00 · 1407 次点击
    这是一个创建于 756 天前的主题,其中的信息可能已经有所发展或是发生改变。

    在数据进入到数据平台之后就可以正式开始构建数据应用(如数据报表和数据指标)了。

    如何实现呢?首先要决定的就是使用什么样的开发语言及如何构建开发环境。这两方面的相关决策将在很大程度上影响后续数据开发的组织和管理。如果决策得当,后续数据开发将能够很轻松的开展起来,否则,则可能将团队带入泥潭。

    写了一篇文章,分享了我们在实践过程中的一些思考和选择,这些经验对于我们是很受用的。总结起来,就是:

    • 尽量首选sql进行数据开发,其次选择Python,再次Scala
    • 扩展sql语法,增强其功能以应对复杂的计算逻辑
    • 使用Makefile与调度系统进行集成
    • 不要构建太多集群环境

    内容结构

    全文阅读,请移步: https://brightliao.com/2021/04/01/data-development-language-and-environment/

    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3557 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 11:15 · PVG 19:15 · LAX 03:15 · JFK 06:15
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.