有没有比较好的日志聚合工具或者技术

2021-10-22 11:12:05 +08:00
 homie2018

有 7 台服务器在运行，使用了阿里云的日志服务 SLS，但 SLS 用于报警还行，平时查 bug 要前前后后看几十行甚至上百行日志，7 台机器来回看有点麻烦。 有没有什么好的手段把日志按时间戳聚合起来， 比如每分钟上传到一个统一的服务器上，然后写个脚本排一下序。 但一个日志文件有几百 MB，这个方式有点慢。

4706 次点击
所在节点    程序员
26 条回复
fengpan567
2021-10-22 11:14:46 +08:00
elk
37Y37
2021-10-22 11:32:40 +08:00
我们用的 elk，开发查起来得心应手
mtzhjsnv
2021-10-22 12:51:09 +08:00
什么是 ELK https://www.elastic.co/cn/what-is/elk-stack
ELK 快速开始 https://www.elastic.co/cn/start
yisheyuanzhang
2021-10-22 13:52:41 +08:00
filbeat > redis/kafka > elk 用起来很顺畅
aeli
2021-10-22 14:43:34 +08:00
loki + promtail 轻量的多，更适合日志查询
securityCoding
2021-10-22 15:09:27 +08:00
正好刚从阿里云 sls 切回自建日志平台,sls 不好用费用也高
filebeats->es->kibana 体验比 sls 高两个级别, 文档无比清晰搭起来很快
kingzeus
2021-10-22 15:26:16 +08:00
elk
CainWang
2021-10-22 16:31:36 +08:00
基础的查询 bug sls 也能满足的 前提是日志规范；比不上 kibana 但是也差不了太多
zanxj
2021-10-22 16:32:27 +08:00
无脑 ELK
killva4624
2021-10-22 16:40:15 +08:00
轻度 loki，重度 elk，所以直接 elk 吧。
bruce0
2021-10-22 16:59:15 +08:00
filebeat + Logstash
yicong135
2021-10-22 17:07:17 +08:00
轻量级 Seq
https://datalust.co/seq
metrue
2021-10-22 17:13:23 +08:00
@yicong135
Seq 用起来感觉如何？个人小服务想试试。
jellyspot
2021-10-22 17:15:30 +08:00
如果是容器环境，efk 吧
shanghai1943
2021-10-22 17:21:35 +08:00
@yicong135 #12 看起来挺不错👍
basefas
2021-10-22 17:23:14 +08:00
都打到一个日志库里不就行了？
Hanggi
2021-10-22 17:33:48 +08:00
elk 一套占多少资源啊，CPU, memory
BQsummer
2021-10-22 18:18:29 +08:00
我们是从 graylog 迁到 sls 的，感觉还是 graylog 好用
hdfg159
2021-10-22 18:18:50 +08:00
用 graylog
homie2018
2021-10-22 18:57:46 +08:00
@mtzhjsnv 好的，我研究一下，非常感谢。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/809743

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX