没想到 clickhouse 这么牛逼,比 es 强太多了,搞 quant 适合吗

2022-07-11 14:28:19 +08:00
 makeitwork

最近跟朋友讨论一起搞搞 quant ,技术面是看了某 git ( https://github.com/thuquant/awesome-quant

数据库和硬件层面不知道用 clickhouse 作为数据库,p5510 ,pm9a3 作为存储,适不适合? 拿 clickhouse 的 500w 数据试验了一下,结合 metabase 牛逼极了,没想到超越了 es 这么多

当然目前正处于脑暴 bb 阶段,离最后去创业还差得远

现在互联网不容易,年纪大了随时毕业, 我是搞数据算法的,朋友是搞金融风控的, 君子不器,如果被行业淘汰,总得找找新出路

4674 次点击
所在节点    数据库
27 条回复
cweijan
2022-07-11 14:34:16 +08:00
clickhouse 和 es 的应用场景不同啊大哥
yang2yang
2022-07-11 14:53:20 +08:00
并发不行把
Agdhfdjh
2022-07-11 14:58:47 +08:00
我也用 ch 做回测数据的存储,加载比 mysql 快太多
tramm
2022-07-11 15:09:49 +08:00
感觉不适合, 并发太低, 除非你的业务展示的数据大家都一样的话, 还有可能.
28Sv0ngQfIE7Yloe
2022-07-11 15:18:06 +08:00
模拟 30 个用户一起聚合查询就能看出问题了,感觉做业务的话 CH 不适合直查,用物化视图输出聚合报表方便些
dzdh
2022-07-11 15:19:04 +08:00
ch 不支持更新哦~~
vvtf
2022-07-11 15:28:28 +08:00
1. ck 对硬件有要求;内存要求高;
2. 集群副本的话数据量太大 zk 又是一个炸弹; (推荐单节点 zk;)
3. qps 不会很高;
4. 不支持事务;不支持更新删除;(虽然有 update 和 delete 的 dml, 但是这个 ck 离线处理的;)
但是做 olap 报表分析确实不错;
1988chg
2022-07-11 15:30:04 +08:00
个人觉得 CK 适合做分析,不适合实时的业务。
dqzcwxb
2022-07-11 15:38:11 +08:00
觉得 clickhouse 比 es 强,只能说明你的业务逻辑足够简单
Leviathann
2022-07-11 15:41:16 +08:00
@dzdh replacemergingtree 相当于更新了,不过是异步的
suixn
2022-07-11 15:44:35 +08:00
测一下 Doris 或者 starrocks ,并发会好一些
kxjhlele
2022-07-11 15:53:51 +08:00
clickhouse 我直接限制 5 用户登录,单连接查询最大 100G 内存,百亿 10 多秒就能汇聚好,
dzdh
2022-07-11 15:58:50 +08:00
@Leviathann insert 走 maxversion 其实也可。
hush3
2022-07-11 16:07:46 +08:00
一直有个疑问。。。clickhouse 的简称到底是 ck 还是 ch 比较好? 好像这两种都有很多人用
wittyfans
2022-07-11 16:18:59 +08:00
最近也在研究 clickhouse 配合 metabase 用,但可能没办法申请到集群去部署,不知道 clickhourse 部署在单机上效果怎么样?
rapperx2
2022-07-11 16:38:13 +08:00
并发是个大问题
xh3ccc
2022-07-11 18:06:53 +08:00
gabon
2022-07-11 18:15:24 +08:00
我们公司日志系统从 es 换到了 ck ,感觉查询语法更丰富,性能更强。估计每天就得上百 tb 的日志数据。
hush3
2022-07-11 19:15:13 +08:00
@xh3ccc 感谢🙏 学习的时候这个页面都没仔细看过 这下明白了
olaloong
2022-07-11 19:35:38 +08:00
上周测试环境 zk 炸了连带 ck 全崩了,重建数据搞得怀疑人生

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/865427

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX