中小企业 2B 系统上,有什么好的大数据实时查询引擎推荐(OLAP)?

2020-02-26 10:16:33 +08:00
 leiuu

RT。
数据量级已经到达千万级,mysql 即席查询已经不太能满足。
现在内部用过 impala,但是不太好用,复杂类型使用限制较多。
各位大佬,有没有更好的 OLAP 框架组件推荐呢?

4641 次点击
所在节点    程序员
25 条回复
YouXia
2020-02-26 10:25:49 +08:00
Presto
misaka19000
2020-02-26 10:26:10 +08:00
HBase
zzcworld
2020-02-26 10:39:13 +08:00
试试 yandex 的 clickhouse 吧
fuyufjh
2020-02-26 10:40:24 +08:00
千万级不算大,建议单机数据库省时省心,比如 greenplum
leiuu
2020-02-26 10:44:02 +08:00
@YouXia presto 内部也有 感觉速度不够快 用来支持在线的应用不知道怎么样...
@misaka19000 hbase 的话,需要再加一个服务吧,专门处理前端和 hbase 之间的交互吧...
leiuu
2020-02-26 10:46:01 +08:00
@fuyufjh greenplum 有...查询性能千万级应该可以... 现在想替换掉... 因为之前买了优化服务...服务停了就有各种问题 哈哈哈

@zzcworld 最近正在看这个 不知道有没有分析系统前端直查 clickhouse 的应用
preyta
2020-02-26 10:47:17 +08:00
clickhouse 可以
misaka19000
2020-02-26 10:55:12 +08:00
Elasticsearch ?支持 rest 接口
EmdeBoas
2020-02-26 10:57:19 +08:00
1. HBase 是 CF 的 NoSQL,跟 OLAP 没关系
2. CH 可以,但运维成本高,没法更新,rebalance、扩容、 删数据头疼
3. Doris 整体而言不错,性能、运维、灵活性皆可,可以低频更新
但用此类 OLAP 的系统都需要先把数据打平,有一个 ETL 的过程,过于复杂的 SQL ( join 过多),性能都不会太好

有一个纯内存的 OLAP 引擎:SnappyData,速度很快,可以支持非常复杂的 SQL ;但社区小众,而且不稳定,BUG 多,不过千万级的数据还是随便玩了

楼主可以都调研一下,个人推荐 Doris
xinyewdz
2020-02-26 10:58:15 +08:00
千万级,es 完全可以搞。
leiuu
2020-02-26 11:03:01 +08:00
@misaka19000 ES 内部有一个 20 亿数据的分析服务... 不过不是即席查询... ES 语法比较复杂、和大数据解决方案路径几乎完全不同,维护学习成本比较高。
leiuu
2020-02-26 11:07:43 +08:00
@EmdeBoas 感谢 Doris、SnappyData 都没了解过。拓展了我的视野。yeah
@xinyewdz 理论上可以。
maodun1997
2020-02-26 11:09:47 +08:00
基于 Flink 实时数仓,先做数仓。做了数仓可以提高查询效率。
leiuu
2020-02-26 11:34:06 +08:00
关于百度开源的 Doris 系统,有一篇介绍还不错: https://blog.bcmeng.com/post/meituan-doris.html
@EmdeBoas 哦 不对 评论区捉到了你 大佬😄
min
2020-02-26 12:08:20 +08:00
kyligence
aimiyooo
2020-02-26 14:43:13 +08:00
kylin,druid,es,clickhouse,doris,看情况具体分析吧
lovedebug
2020-02-26 14:45:40 +08:00
流式实时数据库还是不少的。
ELK 集群 + 热数据可以近实时,这样节省成本。
如果用 SPARK + 分布式实时数据库,那成本可是非常贵的
leiuu
2020-02-26 15:05:51 +08:00
@min 撞名 kylin,动物园又新来小伙伴...😄 我去了解一下

@aimiyooo 👍👍 这些组件都相对比较活跃,基本上就是这几个中选

@lovedebug 基于 java 的实时分析 为啥会天然觉得慢 😄
spark on yarn 倒是目前有一个集群 成本确实高很多 但是整个数据开发都基于此
lovedebug
2020-02-26 15:25:58 +08:00
@leiuu spark streaming 在 Azure 上几台机器每个月大几万刀,数据量还不是很大。 所以扩大一下还是很惊人的。
btnokami
2020-02-26 15:28:53 +08:00
aws redshift?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/647611

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX