请教各位，这种海量数据的存储方案~

每天 5~8 亿条同类型的数据，每条数据在 50+个字段（有部分没有，但是也填充成一样的字段了），求助各位 v 友，有没有什么好的数据库方案可以推荐？我好学习下

hyperdak288

2018-12-14 23:37:07 +08:00

需求事务就 tidb
不需求就 es
还是看具体的也许类型

dapang1221

2018-12-14 23:37:09 +08:00

“每天 5~8 亿条同类型的数据，每条数据在 50+个字段”……你这是想把日志存起来……？检索日志试下 EFK 吧，冷数据进磁带机……

JL1990

2018-12-14 23:52:59 +08:00

没有事务需求，可以说是日志呢，ES 性能怎么样？抱歉，没有用过相关的。我查了下，是属于开源搜索与分析的软件，但存储方案呢？选什么数据库比较好？做集群的话，得多少台机器起步呀~
@hyperdak288
@dapang1221

FullBridgeRect

2018-12-15 00:27:29 +08:00

@JL1990 es 貌似可以存东西的

SsuchingYu

2018-12-15 00:31:46 +08:00

@jiang2018 #8 我总觉得不开源不好。

yanaraika

2018-12-15 01:58:53 +08:00

如果里面有非结构化数据需要搜索那就 es + mongodb，否则就 influxdb

yidinghe

2018-12-15 10:02:45 +08:00

日志存储对性能要求不高，对可扩展性要求高。用内存数据库不合适，看看 cassandra。

byteli

2018-12-15 10:20:32 +08:00

堵需求是怎么样的。如果读和后续分析不太复杂的话用 es 挺好，3 台 8 核 32g 是肯定够了的，甚至 16g 也能凑合，磁盘要大点，每天 8 亿不是很大其实

JL1990

2018-12-15 14:27:02 +08:00

没有很复杂的后续分析，目前考虑就用 ES 了，后续再考虑 4#说的 EFK 方案吧，感谢各位
@byteli

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.