每天有百亿级别的五元组数据需要进行存储和查询，选用什么方案好？

2019-03-19 16:19:45 +08:00
 chy373180

假设每条日志包含一个五元组和一个时间戳，每天百亿级别。查询场景分两种：

  1. 查询访问某个目的 ip 的源 ip
  2. 查询某源 ip 访问果哪些目的 ip

目前想到的是直接怼进 es，有木有其他更好的方案？

3651 次点击
所在节点    程序员
15 条回复
kkjinping
2019-03-19 17:55:20 +08:00
上 ELK
hbsfxlz
2019-03-19 18:06:21 +08:00
HBASE，存 2 份或者做二级索引
zclHIT
2019-03-19 18:14:59 +08:00
HBASE，非常适合时序场景
moonfly
2019-03-19 19:31:31 +08:00
每天百亿级别，这是什么场景下的网络行为审计？
murmur
2019-03-19 19:34:48 +08:00
我也好奇楼主的场景 能达到日千万访问量的公司都不应该有这个问题 我们自己做电力的实时数据 数据量也才千万级 测点上万 都 达不到日百亿
HuHui
2019-03-19 19:37:34 +08:00
这种场景来 V2EX 问？
jeffersonpig
2019-03-19 19:41:11 +08:00
楼主是建墙的吗
Mac
2019-03-19 19:44:32 +08:00
楼主是孟姜女的老公没跑了，大家开怼。
0ZXYDDu796nVCFxq
2019-03-19 19:48:01 +08:00
记录的是『连接』，这个量级，gfw ？
saulshao
2019-03-19 20:37:26 +08:00
楼主的问题听起来确实是 GFW 才有的......
zyp0921
2019-03-20 08:35:48 +08:00
请问是方校长吗？
berumotto
2019-03-20 09:20:50 +08:00
细思极恐 楼主是干什么的
windfarer
2019-03-20 10:07:46 +08:00
建议接入学什么强国
henglinli
2019-03-20 13:23:39 +08:00
小心有诈
buhi
2019-03-20 13:31:43 +08:00
这个数据量, 是监控强国人脑电波的系统吗?

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/546238

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX