业务系统日志存储选型讨论

[steelshadow39]

本人学生，最近项目在讨论日志存储的选型，后端是 springboot ，日志格式为 JSON ，组内有人提议使用 MYSQL 存储日志（因为系统体量不是特别大），我选的是 graylog （存储用的是 elasticsearch ，比 ELK 更轻量）。我觉得无论日志量大小，elasticsearch 的检索和日志处理都要比单纯用 MYSQL 强很多，用 MYSQL varchar 存 JSON ，查询出来还要解析，效率也太低了。并且处理日志本来就是 elasticsearch 的强项。

想请教各位前辈，公司开发在日志这块一般是怎么处理的，感谢各位前辈指点。

[ccde8259]

选不如买……

[iomect]

我们用的 Mongo

[steelshadow39]

@ccde8259 学校项目，都是学生自己开发，没法买

[liuhan907]

我们用 loki ，便宜

[steelshadow39]

@liuhan907 公司一般都是买吗？我以为都是自己搭的

[liuhan907]

自己搭的

[nosilence]

从预估的日志量去选型

[coolcoffee]

elasticsearch+kibana 组合的全文搜索和索引条件搜索好用程度远超过 loki + grafana 。

有钱 ELK ，没钱 Loki 。

[silvernoo]

rsyslog

[bololobo]

mysql 现在支持 JSON 格式了

[xuanbg]

业务日志还是 mysql 吧，7.6 就支持 json 了。

[tramm]

现在用的 ELK. 但是占用有点高.
我测试服务器上 docker 装了个 Loki,OpenObserve. 最终选择了 OpenObserve 记录一些以前未接入 ELK 的系统的日志(SpringBoot 本地日志通过 FluentBit 采集).

[yazinnnn0]

graylog 是正经日志方案, 你是对的

[zed1018]

loki + minio

[lff0305]

如果不想花钱，存储用 ES 或者 Loki ，日志采集可以选用 Fluentbit/Fluentd ，Promtail ，或者直接代码里 POST Rest 过去
面板选择很多，Grafana ，Kibana ，等等
如果愿意花钱的选择就更多了，Datadog ，Splunk ，绝对要不不花钱的好用的多，一分钱一分货

[gabon]

clickhouse

[levelworm]

不花钱 sqlite 不就行了。量不大 txt 也没啥问题。。。

[Aresxue]

fluentbit + ELK, 这个是最流行的商业级方案，小项目就存文件算了吧，切好片做好格式等日志规范是最实用的，出于学习目的就上 loki

[root71370]

clickhouse + iLogtail + clickVisual
存储 收集 展示

[Insa]

loki 不行，几千万条日志搜索就会超时