想请教一下数据存储的选择

[foxyier]

需求描述:
日增数据量百万+， 目前采用的是 hbase+hive， 但是 hbase 服务端的 rpc 很不稳定， 所以考虑换一个存储，所以想请教一下有没有更优的存储方式， 应用场景为写多读少

[foxyier]

补充一下: 数据字段不固定， 所以会建几十或上百张 table， 且有自动根据数据构建 table 的需求

[laminux29]

别急着换方案，先想办法调试一下，找一下不稳定的原因在哪。假设问题是硬件有瓶颈，那么换软件是无法解决问题的。

之前就看到过类似案例，数据库有延迟，优化、换数据库都解决不了。后来有大佬进行整体分析，发现瓶颈在存储上，把 ssd 从 1 个增加到 3 个，组了 raid 0，问题解决。

[misaka19000]

不是应该想着解决 rpc 不稳定的问题？

[foxyier]

@laminux29
@misaka19000
第一反应想的就是跟 hbase 的服务端沟通 rpc 不稳定的问题， 但最后的结果仍是不稳定， 所以考虑换存储可能一劳永逸

[TimePPT]

实时数据处理试下用 Flink ？

[GGGG430]

mysql 也行吧，我这 mysql 日增长 2000w，每天吧数据同步到 hive，dt 日期分区，然后清空一次 mysql

[neoblackcap]

RPC 不稳定能不能通过重试来解决？如果可以的话，通过分批写入，同时增加重试机制是不是改动成本会更低一点？
换存储看似简单，但是你要考虑跟你们现有的技术栈合不合适

[foxyier]

@neoblackcap 重试是有的， 但是重试次数设置多了就会造成严重的数据堆积。