请教下 Clickhouse mutation 操作性能咋样?

2023-05-17 09:35:11 +08:00
 lbllol365

一个 1 分片 2 副本的集群,每台实例 2c4g ,对于一个 3kw 行的复制表,每秒更新大概两三百条,时延和性能方面咋样

551 次点击
所在节点    问与答
3 条回复
ThreeK
2023-05-17 10:35:01 +08:00
不理解你这个 CH mutation 的意思,我猜你说的是要用 merge 系列的表,CH 官网是不建议 Updted 的因为他要去删分片,批量 update 应该还好。
我同事是这样做的,用 CollapsingMergeTree 引擎,insert 一条 -1 的做为删除,再 insert 一条新的。俩步来完成 update 。
而且 CH 的更新不是实时更新,是后台更新的。system.mutation 就是监控 更新类操作的。
lbllol365
2023-05-17 14:19:07 +08:00
@ThreeK 的确是想用 update 。CollapsingMergeTree 和 VersionedCollapsingMergeTree 也考虑过,这种引擎的表,请教下写报表那种比较复杂的 SQL ,方便性和性能方面有了解吗。我这是打算用 CH 做一个允许一定时延的半实时出报表的数据源
ThreeK
2023-05-17 15:13:15 +08:00
@lbllol365
方便性也还好了,反正就写一次 sql ,又不天天写新的。性能也很赞
我们这边复杂 sql 也没有慢的时候,我们是用的阿里云的,3 分片 2 副本。不知道买的啥配置。
就是得自己写 sql 注意下用上 sign 标志,要不然能查到 -1 和对应 1 的 那俩条。如果你们延时大到后台能整理完数据也就不用关心 sign 了,但这东西随缘。
之前领导调研 大表很多字段、单表 1 亿数据也很快。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/940590

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX