现在利用 kafka 来分发数据给不同的部门。
但是需要统计给不同部门分发的多少 BYTE 的数据。
条数我还能根据 cgroup 的 offset 来统计。
但是数据量大小就没啥思路了。
不知道有没有现成的工具没有。
This topic created in 3174 days ago, the information mentioned may be changed or developed.
 |
1
gqlxj1987 Sep 13, 2017  1
kafka-manager
|
 |
2
reAsOn Sep 13, 2017 1
jmx 里面啥都有
|
 |
3
ayiis Sep 13, 2017 1
同 1 楼，km 用了近两年，总体满意
|
 |
4
h3nng Sep 13, 2017
哈哈，我们自己做了一个，比目前开源的工具都好太多（不过开源的也少），不过我们暂时没开源。。数据量 KAFKA 自身是有统计的，可以参考 2 楼说的 JMX，官网有 JMX 的各种 Bean
|
 |
5
yanzixuan OP @h3nng 目前自己写了个脚本。从 ZOOKEEPER 里面获取 cgroup 每个小时消费的数据然后丢 elasticsearch。
然后用 kibana 展示。目前先这么凑合着用了。。 |
 |
6
AntonChen Sep 13, 2017 1
|
 |
9
messense Sep 18, 2017 1
|
Select Language