logstash 的 filter 把我折磨的落泪

2023-11-16 16:59:05 +08:00
 wtfedc

最近在做测试,用 filebeat 采集日志后,丢给 logstash ,再丢给 elk 。
然后就被 logstash 恶心到了。

日志里有些字段,是带"."的,比如kubernetes.deployment.name,如果不用 filter 做处理,elk 是能收到这个字段的。如果用 filter ,只筛选部分字段,丢给 elk ,那直接就把带"."的字段都忽视了。比如下边这个配置:

if [fields][source] == "ack" {
  prune {
    whitelist_names => ["message", "kubernetes\.deployment\.name", "stream", "@timestamp"]
  }
}

elk 能看到"message", , "stream", "@timestamp"。看不到 "kubernetes.deployment.name"。 查到官方论坛有说什么有安全隐患,2.0 elk 不再接收带"."的字段。虽说我用的 8 版本,不过应该是同一个问题。

不处理的时候,所有字段都接收,做过处理后不接收“.”了,这是什么前卫设计,真理解不了。

529 次点击
所在节点    日志处理
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/992509

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX