有关 flume 的 Demo

2014-09-22 19:03:44 +08:00
 cloud107202
上头突发奇想打算在产品里加入一个日志采集+分析的功能。看了几天flume文档,头都大了。
目前boss要求先实现个Demo,思来想去,打算做成下图这样子:
http://imgur.com/RzbdHk3
就是agent1 2将日志采集汇总到agent3上,持久化到MySQL中

遇到两个点不是特理解:
1. 图中agent1, agent2的sink端与agent3的source端貌似要通过Avro来打交道,对Avro这个东东一头雾水。是简单配置下flume的conf文件就能用还是需要使用Avro并做一番特别的配置?
2. store层需要自定义一个MySQL_Sink,这个是不是要自己拉flume源码打包编译呢?

自己对分布式日志系统不怎么了解,搞到这里有点束手束脚,请大家指点一二
3048 次点击
所在节点    问与答
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/135008

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX