每天大概一亿条数据，该用什么表，什么数据库比较好？

2019-10-17 16:19:59 +08:00
 dapengzhao

目前用了 mongo 打算一天存一个集合，但是数据到了五千万左右的时候写入速度就很慢了，每秒几百条。

{
    "_id" : ObjectId("5da7e7842bd2cd5578ebdf52"),
    "time" : "2019-09-01 08:01:45.899",
    "src_ip" : "59.1.1.1",
    "port" : "64466",
    "proto" : "TCP",
    "in_bytes" : "60",
    "out_bytes" : "0",
    "in_packets" : "1",
    "out_packets" : "0",
    "flows" : "1",
    "is_edu_net" : "1"
}

数据结构大概是这样，后面需要展示，就这样表格一条数据占一行，会按照 ip，端口，或者协议查询。

4939 次点击
所在节点    问与答
19 条回复
oscer
2019-10-17 16:21:40 +08:00
pg?
taotaodaddy
2019-10-17 16:22:48 +08:00
时序？
mikulch
2019-10-17 16:33:12 +08:00
hbase?
atbility
2019-10-17 16:43:07 +08:00
elasticsearch?
l0wkey
2019-10-17 16:46:10 +08:00
TSDB
rrfeng
2019-10-17 16:48:48 +08:00
应该是 cache 满了，合理调整一下应该可以的。
qiayue
2019-10-17 16:52:42 +08:00
不用问，问就是时序数据库
tt67wq
2019-10-17 16:57:19 +08:00
influxdb
letitbesqzr
2019-10-17 17:18:54 +08:00
@atbility #4 elasticsearch 真的适合如此高的频率写入数据？我所了解要说写入效率，es 是常见的数据库中最慢的。
hkitdog
2019-10-17 17:24:52 +08:00
Oracle
ebingtel
2019-10-17 17:26:44 +08:00
@letitbesqzr 先写入 kafka 再写 ES
yingsunwl
2019-10-17 17:33:24 +08:00
clickhouse
rockyou12
2019-10-17 17:34:59 +08:00
时序库吧，timescale，influxdb 这种，上面说 es 估计也行但性能会差些
11ssss
2019-10-17 17:36:43 +08:00
TDengine
atbility
2019-10-17 17:37:06 +08:00
@letitbesqzr es 挺快的啊，上次我整了 10 个亿的数据，9 台服务器，速度杠杠滴
zxc111
2019-10-17 17:38:17 +08:00
clickhouse+1
wangxiaoaer
2019-10-17 19:02:49 +08:00
TSDB 性能如何啊，看这个文章好像很差啊。

https://zhuanlan.zhihu.com/p/56982951

但是基于 pg，这个点让人爱不释手。
Pythondr
2019-10-18 01:08:54 +08:00
这种数据，明显时序数据库
Samuelcc
2019-10-18 02:28:03 +08:00
hbase

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/610330

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX