V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
kevinwan
V2EX  ›  推广

Go 大数据生态迎来重量级产品 CDS

  •  1
     
  •   kevinwan · 2020-11-27 07:03:41 +08:00 · 2351 次点击
    这是一个创建于 376 天前的主题,其中的信息可能已经有所发展或是发生改变。

    本项目地址:https://github.com/tal-tech/cds

    ClickHouse 是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。它有着优异的性能,可以快速部署和运行。 不过要想使用 ClickHouse 搭建起数仓用于数据分析,一个重要的问题就是数据如何进入 ClickHouse ? 我们希望数据源的变化能够自动实时地被同步到 ClickHouse,而且支持方便的动态的添加新的数据源(新的数据库,表), 能够自动的生成对应数据源的 schema 。

    go-zero团队使用 go 语言围绕 ClickHouse 开发了一些方便的组件与服务。

    我们得到了下面这样的数据同步设计

    该数据同步系统大致由以下三部分组成

    1. DM 全量同步服务 github.com/tal-tech/cds/dm
    2. RTU 实时增量同步服务 github.com/tal-tech/cds/rtu
    3. Galaxy 网页控制台服务 github.com/tal-tech/cds/galaxy

    流程如下:

    • 用户可以在网页控制台添加数据源,自动生成 DDL,添加同步任务,该任务会被发送到 etcd 。
    • dm 会收到全量同步的通知,执行历史数据的全量同步工作。
    • 之后网页控制台服务会指定 connector 开启数据库 log 监听工作,数据会进入 kafka 。
    • 监听 etcd 集群的 RTU 实时增量同步服务服务会发现有新的任务,RTU 自动领取任务,到 kafka 消费数据并同步至 ClickHouse 。

    上述服务的开发使用了 go 语言。借助于go-zero中的工具包,如 goctl 等, 我们快速实现了它。它还加入了支持自适应 mongoDB 结构变化,支持数据分表等。

    我们相信这是 go 语言与 ClickHouse 探索大数据的一个不错的起点,我们希望有更多的人能够参与进来。

    CDS 项目地址:https://github.com/tal-tech/cds

    go-zero 项目地址:https://github.com/tal-tech/go-zero

    欢迎大家 star 并加入微信社区 🤝

    gowk
        1
    gowk  
       2020-11-27 07:33:45 +08:00 via Android
    年轻人不讲武德,总想搞个大新闻,来,骗!
    kevinwan
        2
    kevinwan  
    OP
       2020-11-27 08:05:00 +08:00 via iPhone
    @gowk 通过开源来骗?你也来骗一下?
    crayhuang
        3
    crayhuang  
       2020-11-27 09:35:11 +08:00
    这个画图的工具是什么工具来着?
    Wincer
        4
    Wincer  
       2020-11-27 09:38:44 +08:00 via Android
    同问,画图挺好看的,是用什么画的?
    fy1993
        5
    fy1993  
       2020-11-27 09:49:39 +08:00
    同问画图工具
    ruyuejun
        6
    ruyuejun  
       2020-11-27 09:54:17 +08:00
    同问
    Aeoluze
        7
    Aeoluze  
       2020-11-27 09:55:29 +08:00
    来,偷袭。劝 lz 耗子尾汁
    matian388
        8
    matian388  
       2020-11-27 09:56:58 +08:00
    ahmcsxcc
        9
    ahmcsxcc  
       2020-11-27 10:03:18 +08:00 via iPhone   ❤️ 1
    @ruyuejun
    @fy1993
    @Wincer
    @crayhuang
    drawio 的 sketch 风格
    kevinwan
        10
    kevinwan  
    OP
       2020-11-27 10:19:47 +08:00 via iPhone   ❤️ 1
    Wincer
        11
    Wincer  
       2020-11-27 11:12:08 +08:00
    @ahmcsxcc
    @kevinwan
    感谢告知
    efaun
        12
    efaun  
       2020-11-27 11:30:17 +08:00
    为什么这个帖子没人说推广?不太懂你们道德带师的逻辑
    Livid
        13
    Livid  
    MOD
       2020-11-27 11:33:11 +08:00
    @kevinwan

    这个主题已经被移动到 /go/promotions

    推广软文只能发布到这个节点。

    请阅读 V2EX 的节点使用规则 https://www.v2ex.com/help/node
    kevinwan
        14
    kevinwan  
    OP
       2020-11-27 11:46:42 +08:00 via iPhone
    @Livid 收到
    90928yao
        15
    90928yao  
       2020-11-27 12:53:56 +08:00
    @kevinwan
    mysql 的数据 直接进 clickhouse ? JOIN 怎么办 不用 flink 搞成大宽表 在进 clickhouse 吗
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3556 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 10:03 · PVG 18:03 · LAX 02:03 · JFK 05:03
    ♥ Do have faith in what you're doing.