日志采集工具选型, logstash 或者 fluentd,应该怎么选?

2023-07-31 11:44:19 +08:00
 sniperking1234

在网上查阅了关于这两个日志工具的对比资料,感觉两者之前功能各有优劣,自己也简单试用了一下,两者的配置都很丰富,不过感觉一些坑还是实际使用的时候才知道,问一下大家有没有在这两个组件踩过坑,或者有相关的经验可以赐教一下

1376 次点击
所在节点    问与答
7 条回复
wklken
2023-07-31 11:59:32 +08:00
如果用 elk, 建议采集和解析分开, logstash 虽然能做采集, 但是资源占用有点多;
filebeat(golang) -> redis -> logstash(java) -> es

fluentd 没用过
superchijinpeng
2023-07-31 12:03:28 +08:00
现在都是 vector 了
sniperking1234
2023-07-31 12:41:21 +08:00
@superchijinpeng vector.dev 这个吗,之前没听过这个组件,有啥优势呢
sniperking1234
2023-07-31 12:42:07 +08:00
@wklken 现在是打算把采集和解析分开的,fluentd 也是这种架构
zero47
2023-07-31 14:18:21 +08:00
fluentd 如果是 docker 构建,建议直接用 debian tag ,基于 alpine 的镜像会各种写入权限问题。调了半天配置文件最后换个 tag 就好了,是真的坑。
sniperking1234
2023-07-31 14:39:32 +08:00
@zero47 fluentd 用官方 docker-compose 的方式都起不来,最后还是翻 issue 解决的,感觉是不是官方维护不频繁啊
zong400
2023-07-31 18:02:12 +08:00
filebeat 我们用得挺好,稳定

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/961165

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX