轻松收集日志的方法

2017-08-10 18:53:56 +08:00
 linqianqiu

现在采用的收集日志的方法是:

使用 logstash input file 收集日志文件,然后 output 到 elasticsearch 中,最后在 kibana 中查看。

这样做如果服务器比较少,倒是没问题的,但是现在日志文件很多,而且分散在不同的服务器,就会导致收集日志需要配很多遍环境和配置文件。

有没有一种能轻松收集日志的方法或类似的系统,不需要在服务器配置环境和配置文件,直接运行一个程序,然后在指定的系统中配置信息,就能把数据导入到 elasticsearch 中,可视化查看数据的。

3519 次点击
所在节点    程序员
10 条回复
Rand01ph
2017-08-10 19:34:30 +08:00
rsyslog
lxf1992521
2017-08-10 21:18:16 +08:00
graylog
chinvo
2017-08-10 21:20:31 +08:00
rsyslog + logstash 可以直接入 elastic

然后用 kibana 查看就简单多了吧

之前有做过收集路由设备的 log 做分析的项目

参考链接: https://www.digitalocean.com/community/tutorials/how-to-centralize-logs-with-rsyslog-logstash-and-elasticsearch-on-ubuntu-14-04

另:Google 一下很容易知道
idamien
2017-08-10 22:01:49 +08:00
直接 kibana web service 写入就好了啊
idamien
2017-08-10 22:06:28 +08:00
你说的是服务器日志 还是 APP 日志

如果是服务器运行日志 , 可以使用 zabbix 进行全局监控,集成 kibana


如果是 app 运行日志, 可以直接通过配置 kibana WS 地址,多个 apps 可实现通过远程写入 kibana
linqianqiu
2017-08-11 09:22:19 +08:00
@chinvo 业务日志好像不能这么做吧
linqianqiu
2017-08-11 09:27:48 +08:00
@idamien 是服务器日志,我看看 zabbix 全局监控
234747005
2017-08-11 09:53:07 +08:00
filebeat - elastic - kibana
chinvo
2017-08-11 12:02:03 +08:00
@linqianqiu MySQL、Apache、Nginx 等支持 syslog 的,都可以用 rsyslog 转发去 logstash
huangfs
2017-08-11 13:16:15 +08:00
scribe?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/382007

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX