上头突发奇想打算在产品里加入一个日志采集+分析的功能。看了几天flume文档,头都大了。
目前boss要求先实现个Demo,思来想去,打算做成下图这样子:
http://imgur.com/RzbdHk3就是agent1 2将日志采集汇总到agent3上,持久化到MySQL中
遇到两个点不是特理解:
1. 图中agent1, agent2的sink端与agent3的source端貌似要通过Avro来打交道,对Avro这个东东一头雾水。是简单配置下flume的conf文件就能用还是需要使用Avro并做一番特别的配置?
2. store层需要自定义一个MySQL_Sink,这个是不是要自己拉flume源码打包编译呢?
自己对分布式日志系统不怎么了解,搞到这里有点束手束脚,请大家指点一二
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
https://www.v2ex.com/t/135008
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.