V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
iyaozhen
V2EX  ›  问与答

请教一个大业务量下 logstash 处理效率和配置管理的问题

  •  1
     
  •   iyaozhen · 2017-08-22 13:19:13 +08:00 · 2570 次点击
    这是一个创建于 2410 天前的主题,其中的信息可能已经有所发展或是发生改变。
    现在日志处理基本都 ELK,确实好用,但在实践中遇到一些问题。

    logstash 接入(上游 filebeat 收集日志)的日志类型和数量都太多了,每一类日志都要有一个 filter(grok) 和 output(es 不同的 index,或者 kafka 不同的 topic)。

    1. 随着业务增多配置文件如何管理?现在都在一个配置文件里,1k 多行了。😓
    2. 随着日志量增大 logstash 处理能力更不上,数据延迟较大,如何解决?有什么集群方案吗?扩机器需要修改 filebeat 的配置,比较麻烦。

    谢谢了
    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1502 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 23:55 · PVG 07:55 · LAX 16:55 · JFK 19:55
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.