hbase lattice 靠谱吗？我打算做一个基于列式存储的 bi 解决方案
rosicky1985 · 2015-02-15 15:17:34 +08:00 · 3038 次点击这是一个创建于 3599 天前的主题，其中的信息可能已经有所发展或是发生改变。
各位：
最近打算做一个基于列式存储的bi解决方案，主要需求和痛点如下:
- 事实数据和数据立方体要时分离清晰的两层
- 数据立方体需要支持灵活的维度，有限的度量。因为业务上的维度非常多，我们也很难预料在哪些维度上会有报表和分析的需求，因此打算做一个支持灵活维度的方案。由于维度很多，彼此相乘的全量空间会非常大，因此用传统关系型数据库存储一定不灵。
- 支持批处理。除了报表以外，我们会有一些业务场景需要批处理数据立方体。例如预测需要一下子热起来很多历史数据。体系外的数据access肯定不灵。
- 需要有olap展现层。因为我们发现case by case做报表和分析成本很高。
- 数据立方体需要支持非常快的数据更新速度。因为理论上，我们的系统应该提供实时的数据反馈。
做了一段时间的技术预研，找到一个开源软件HBase-Lattice，应该是比较新的，貌似还在更新。不过网上资料不多，有没有用过的兄弟一起讨论一下坑在哪里。
P.S 1 lattice的定位不是解决以上所有问题，仅解决olap的展现层。甚至更小，仅为olap展现层提供数据。这个论点成立吗？有坑吗？这是我的疑问。
P.S 2 还有一个备案kylin
谢谢各位。
Select Language