每秒 20-50w 的日志存储查询(路由网关),有什么低成本的方案

2017-03-07 10:22:30 +08:00
 prenwang

关系数据库没戏了, elk 分布式貌似也成本不低。

顺序文本写入磁盘, 如何解决检索问题。

2400 次点击
所在节点    数据库
23 条回复
sfree2005
2017-03-07 16:39:32 +08:00
@vus520 之前我建议的那个 scaleway 套餐是 800Mb/s ,不限流量。如果国内网速到那边即使只有一半带宽,也能满足。我之前忽略了国内部分的流量成本和不知道国内外服务器对传数据是不是也抽风式的慢,没有相关的经验,考虑不周。 scaleway 我也只是自己买几欧一个月的 vps 玩玩,没有试过生产环境用,但感觉还行。
prenwang
2017-03-07 19:01:29 +08:00
@tywtyw2002 感谢提醒, zmq 很靠谱,非常轻量级的分布式方案。

日志服务器都是本地机房的,尽量不会考虑云端。

日志内容存到可简单检索的文件,简化索引按时间分割存关系数据库或 elasticsearch 或者 mongodb Capped Collections

前端接口异步查询。
mingyun
2017-03-15 23:04:03 +08:00

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/345496

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX