首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
The Go Programming Language
http://golang.org/
Go Playground
Go Projects
Revel Web Framework
beego
xiangdong1987
V2EX  ›  Go

消息队列的一些折腾心得

  •  
  •   xiangdong1987 · 149 天前 · 3020 次点击
    这是一个创建于 149 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近一段时间都在整理知识体系,还没整理完备,然后就被拉着做新的消息队列的接入,原来使用 kafka,切到了 rabbitmq。切换还算顺利,同时又有同事想做日志系统的想法。我突然灵光一线,为什么不能 filebeat + 消息队列实现集中式日志管理呢?

    调研

    折腾 filebeats

    • Go 的 kafka 已经折腾过了,为了给自己练练手准备让 filebeats 支持 rabbitmq。
    • 找到了 https://github.com/sidleal/mqttout
    • 自己尝试使用发现新版 filebeat 的接口有些改变,而且他用的链接 rabbitmq 的底层库也比较老,唯有自己动手
    • 在原有的基础上做了改动 https://github.com/xiangdong1987/mqttout 感觉能用,用的到大家随便用。

    总结

    学习的过程就是想到就去实践,不懂得就去学习,最后达成目标,估计这就是一个大龄程序员还能继续码代码的动力了。继续整理知识体系去了。留下一个思路,用 kafka+filebeats 实现模调系统以及日志系统。或者听听各位大神的意见。

    13 回复  |  直到 2019-09-03 09:54:24 +08:00
    defunct9
        1
    defunct9   149 天前 via iPhone
    filebeat kafka es kibana,我司有套这样的玩意
    alexzhu592
        2
    alexzhu592   149 天前
    直接上 kafka + flume
    rrfeng
        3
    rrfeng   149 天前
    灵光一线?
    这明明是成熟的方案……
    CEBBCAT
        4
    CEBBCAT   149 天前 via Android
    楼主大大,歪个题想问问您找实习的事儿。

    想请教一下 2020 毕业的软件工程想在这个秋招找份 Golang 实习需要什么技能?之前在滴滴实习过,但只是打杂。拿过一个蓝桥杯国赛二等奖,有一点薄薄的项目经验,目前已经熟悉 Golang 基本语法了,还写过一个 Golang 小工具:
    Pythondr
        5
    Pythondr   149 天前 via Android
    说个小众的 ,pulsar 了解一下
    JerryKwan
        6
    JerryKwan   149 天前
    @Pythondr 据说 Pulsar 比 Kafka 更灵活,在生产中用过没?
    LeeSeoung
        7
    LeeSeoung   149 天前
    filebeat + elk?
    xiangdong1987
        8
    xiangdong1987   149 天前
    @defunct9 #1 嗯 我是 php 栈的 java 栈玩不转 所以想 用 php 消费日志 自己做个日志或者模调之类的 哈哈
    xiangdong1987
        9
    xiangdong1987   149 天前   ♥ 1
    @CEBBCAT #4 建议直接投抖音 我司 不是 Go 栈
    xiangdong1987
        10
    xiangdong1987   149 天前
    @Pythondr #5 我去了解下
    helloSpringBoot
        11
    helloSpringBoot   149 天前
    @CEBBCAT 字节想投吗,可以内推
    robertlyc
        12
    robertlyc   149 天前
    nsq 哪
    lbp0200
        13
    lbp0200   143 天前
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1799 人在线   最高记录 5168   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 31ms · UTC 07:37 · PVG 15:37 · LAX 23:37 · JFK 02:37
    ♥ Do have faith in what you're doing.