想把日志存入到 es 里面，不使用 Logstash 直接存到 es 可以吗？

[mentalidade]

日志量大概一天 200 万的样子，以后可能会变大。

原因：
1.我传入的就是格式化好的 json 数据，看 Logstash 就是对输入的数据格式化输出到 es 里，所以我感觉这个 Logstash 对我没有什么用
2.主要就是担心性能了，那传入 kafka，然后输出到 es，是不是可以？

[Cooky]

es 可能抗不住，嫌弃 logstash 的话可以试试 rsyslog

[Cooky]

哦不对，平均时间的话应该抗得住，集中一块就费尽了

[lfzyx]

可以的，我就没用 logstash，而是自己用 python 写的

[xiaoshengyige]

kafka 靠谱。我们线上就这么用的。每天大概 400w+日志，供参考。

[hyperdak288]

Logstash 性能很差
你可以不用

filebeat 直接怼文件也行

[jinxl560]

感觉 logstash 不稳定，什么时候不工作了都不知道

[zxc337]

直接上 flume 吧

[FiveDDD]

推荐 flume 和 kafka, logstash 真是性能差

[jybox]

不需要处理日志的话直接用 filebeat 好了，都是一家的东西，资源占用是 logstash 的十分之一

[WispZhan]

有人对比 Graylog 么？

[binjjam]

我是自己用 python 写脚本导入的，每天 1500~2000W 记录 8~12G

[Lax]

输出 json 只是替代 logstash 的格式化功能，logstash 还有别的用途。
当然如果不在意数据完整性的话，没必要 logstash 以及 filebeat 或其它的 beat。
如果还想用 kafka 解决这些问题，何必舍近求远呢？

[yzmm]

用官方的 java 的 API 就可以了

[S1ahs3r]

filebeat 挺好的,内存 60M 左右跑的起来

[mentalidade]

@Cooky 时间不固定，中午 12 点左右和下午 5-8 点之间会比较频繁。因为有 java，node，NGINX 等很多产生的日志，在考虑是写入文件收集还是写入 kafka，然后输出到 es
@xiaoshengyige 直接写入 es，担心会阻塞住，这个可以
@lfzyx 因为很多方面很多种不同的日志要手机，全部直接写入到 es 不知道会不会导致阻塞严重？

[mentalidade]

@hyperdak288 Beats 可以 tcp 直接发送业务 log 吗，因为有的不写入到文件，按照固定格式写入

[mengzhuo]

可以~才 200w 每天
我们是 15w 每秒

kafka-es 3 台 es 抗住了

[Jakesoft]

@mengzhuo 我去， 你们什么业务日志量这么大

[mengzhuo]

@Jakesoft #18 这就不能说了

[fbbin]

@WispZhan 性能很差的