请教一个大业务量下 logstash 处理效率和配置管理的问题

[iyaozhen]

现在日志处理基本都 ELK，确实好用，但在实践中遇到一些问题。

logstash 接入（上游 filebeat 收集日志）的日志类型和数量都太多了，每一类日志都要有一个 filter(grok) 和 output(es 不同的 index，或者 kafka 不同的 topic)。

1. 随着业务增多配置文件如何管理？现在都在一个配置文件里，1k 多行了。😓
2. 随着日志量增大 logstash 处理能力更不上，数据延迟较大，如何解决？有什么集群方案吗？扩机器需要修改 filebeat 的配置，比较麻烦。

谢谢了