V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
lbllol365
V2EX  ›  问与答

请教下 Clickhouse mutation 操作性能咋样?

  •  
  •   lbllol365 · 2023-05-17 09:35:11 +08:00 · 552 次点击
    这是一个创建于 560 天前的主题,其中的信息可能已经有所发展或是发生改变。

    一个 1 分片 2 副本的集群,每台实例 2c4g ,对于一个 3kw 行的复制表,每秒更新大概两三百条,时延和性能方面咋样

    3 条回复    2023-05-17 15:13:15 +08:00
    ThreeK
        1
    ThreeK  
       2023-05-17 10:35:01 +08:00   ❤️ 1
    不理解你这个 CH mutation 的意思,我猜你说的是要用 merge 系列的表,CH 官网是不建议 Updted 的因为他要去删分片,批量 update 应该还好。
    我同事是这样做的,用 CollapsingMergeTree 引擎,insert 一条 -1 的做为删除,再 insert 一条新的。俩步来完成 update 。
    而且 CH 的更新不是实时更新,是后台更新的。system.mutation 就是监控 更新类操作的。
    lbllol365
        2
    lbllol365  
    OP
       2023-05-17 14:19:07 +08:00
    @ThreeK 的确是想用 update 。CollapsingMergeTree 和 VersionedCollapsingMergeTree 也考虑过,这种引擎的表,请教下写报表那种比较复杂的 SQL ,方便性和性能方面有了解吗。我这是打算用 CH 做一个允许一定时延的半实时出报表的数据源
    ThreeK
        3
    ThreeK  
       2023-05-17 15:13:15 +08:00
    @lbllol365
    方便性也还好了,反正就写一次 sql ,又不天天写新的。性能也很赞
    我们这边复杂 sql 也没有慢的时候,我们是用的阿里云的,3 分片 2 副本。不知道买的啥配置。
    就是得自己写 sql 注意下用上 sign 标志,要不然能查到 -1 和对应 1 的 那俩条。如果你们延时大到后台能整理完数据也就不用关心 sign 了,但这东西随缘。
    之前领导调研 大表很多字段、单表 1 亿数据也很快。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3370 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 11:34 · PVG 19:34 · LAX 03:34 · JFK 06:34
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.