nginx 日志反导到数据库

2017-06-20 17:40:24 +08:00
 artandlol

nginx 日志反导到数据库,有比较好的方案吗? 最近有这个需求,一直没有比较好的方案。

3572 次点击
所在节点    NGINX
16 条回复
liprais
2017-06-20 17:43:29 +08:00
自己写个 parser 把你需要的 column 解出来写到数据库里去
或者找个开源的 parser
koon_kai
2017-06-20 17:48:56 +08:00
用 elk?
artandlol
2017-06-20 18:03:19 +08:00
@liprais 数据量大,估计处理不了
@koon_kai elk 估计要用到中间键,搞到数据库这个过程不是很明朗
dallaslu
2017-06-20 18:06:26 +08:00
@artandlol 先用流式处理或者集群方式,把原始日志加工一下;然后一次性 load 进库
prasanta
2017-06-20 18:24:01 +08:00
elk 就 elk,别纠结了
cnyang
2017-06-20 18:31:02 +08:00
misaka19000
2017-06-20 18:33:35 +08:00
写个脚本定时导入感觉很好了
hustlike
2017-06-20 18:38:34 +08:00
用 ELK 就不用放到数据库去了……直接存 ELK 里面。你估计只需要一个 ElasticSearch 就够了。
Cooky
2017-06-20 18:41:07 +08:00
rsyslog
yghack
2017-06-20 18:45:34 +08:00
ELK
数据量很大?不需要中间件,直接 filebeat
ohhe
2017-06-20 21:15:38 +08:00
fluentd
zhengwenk
2017-06-20 21:44:58 +08:00
elk 还有什么不明朗的
ohblue
2017-06-20 22:41:28 +08:00
filebeat
willis
2017-06-21 08:41:05 +08:00
nginx 日志自定义为 json ,然后 elk
MajorAdam
2017-06-21 09:37:44 +08:00
elk
coolloves
2017-06-21 13:05:37 +08:00
rsyslog 实时传到 es 即可

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/369867

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX