1
wmz000 2023-06-27 09:55:58 +08:00
想知道啥需求为啥要使用 ck 做 mysql 的从库?
|
2
vincent7245 2023-06-27 09:59:43 +08:00 1
1 可以,但是前提是,ck 是做分析用的,而且数据有延迟,不能做业务
2 我们用 impala+kudu ,性质和 ck 差不多,但是仅做分析用,数据是通过读取 binlog 同步的,自己写的中间件 3 不要用分析数据库做业务,不要用分析数据库做业务,不要用分析数据库做业务 |
3
ianEros 2023-06-27 10:01:26 +08:00
我咋记得这个引擎是类似外表,在 ck 做的映射,查询的时候 ck 还是连到 mysql 查
一般的方案都是用 canal 同步到 ck ,或者直接用 ck 经常修改的数据同步到 ck 还要区分版本,有时候还要 merge |
4
iamfenges OP |
9
wmz000 2023-06-27 10:06:38 +08:00
@wmz000 #1 我理解由于这两个的数据模型和查询语句等差距,用 ck 做 mysql 你需要做不少转换类的工作吧,比起加一层同步数据的工作量呢?
|
10
ianEros 2023-06-27 10:14:12 +08:00
@iamfenges #8
我说错了,映射表的引擎是 mysql 8g 有点小,数据量大一点就不够用,如果用 canal 同步的话,离线数据还好,如果数据经常修改的话同步也很麻烦,MergeTree 同一条数据每次修改会存一条记录,同一条记录会存好几个版本 |
11
rongpx95 2023-06-27 10:15:59 +08:00
可以是可以,但是考虑到性能,你还需要定时把 MySQL 视图的数据,同步到 CK, 后面基于 CK 做分析
|
14
qzwmjv 2023-06-27 11:43:16 +08:00
8G 就别考虑 ck 了
|
15
mywowo 2023-06-27 11:58:47 +08:00
8G 玩个啥 clickhouse
|
16
sadfQED2 2023-06-27 12:04:39 +08:00 via Android
做从库没听说过,我们是 mysql binlog>kafka>flink>ck
|
17
weijancc 2023-06-27 12:06:38 +08:00
楼上说内存的, 我用的是个假的 clickhouse 吗, 300w 数据量才占了 700m 内存
|
20
weijancc 2023-06-27 12:52:58 +08:00
@nulIptr 而且数据量小用 clickhouse 也没什么问题, 我之前数据量 50w, 在低价云主机上的 mysql 执行复杂查询+group 要 7 秒, 而 clickhouse 是秒出结果
|
22
Frankcox 2023-06-27 13:05:38 +08:00
Clickhouse 的内存占用跟什么有关?我们有个单机 8C8G 的 Clickhouse ,里面有七八个表,两三个表有十几亿行,剩下的几千万行,日常任务都是很简单的单表根据 Time 间隔 Select ,看语句执行情况内存占用很少,只有几十还是几百 M ,但是 CPU 拉满了,且一般都是分钟级别查询。
|
23
xieshaohu 2023-06-27 13:41:25 +08:00
clickhouse 可以把 Mysql 表做外表,你想要分析方便,直接建立外表,然后 insert select 语法把数据快速导入到 clickhouse , 之后再基于 clickhouse 做聚合分析就行了。
|
25
sadfQED2 2023-06-27 13:59:00 +08:00 via Android
@zong400 流式计算引擎,通过 flink 能够在插入前做各种处理,比如拼表,过滤某些字段等等
|
26
wu00 2023-06-27 14:30:49 +08:00
@iamfenges canal 也挺不稳定的,小项目用 docker 部署了一个单机版的用来监控 binlog ,隔三岔五的假死,翻遍了日志就是没有异常;有条件还是用云服务省心。
|
27
brader 2023-06-27 14:43:12 +08:00
可以的,但是我建议你 clickhouse 库只做数据统计用,不要用于强依赖数据一致性的业务。另外 clickhouse 库一定一定要分开专门的服务器来安装,因为 clickhouse 会极致利用服务器资源,和其他软件掺杂一起,可能会影响其他软件的运行。
自动同步数据的话,你可以看看这个项目,我觉得挺好用,主要是轻量 https://github.com/brokercap/Bifrost |
29
vgbhfive 2023-06-27 20:43:50 +08:00
可以把数据实时同步到 ck ,然后 ck 做数据分析,我公司就是这么搞得,实时同步工具参考 clickhouse-mysql-data-reader
|
30
iluckypig 2023-06-27 23:02:26 +08:00
分析可以,业务不行。
|
31
lixintcwdsg 2023-06-27 23:02:58 +08:00
现在大部分公司就是这么用的,从 mysql binlog 那边同步入 CK
ck 就是个只读的从库 |