首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Coding
V2EX  ›  Scala

请教下关于用 Flume+kafka+Spark 实现实时监控错误日志报警的功能

  •  
  •   KOSKERS · 236 天前 · 1614 次点击
    这是一个创建于 236 天前的主题,其中的信息可能已经有所发展或是发生改变。

    大家好,请教下关于用 Flume+kafka+Spark 实现实时监控错误日志报警的功能。 目前 Flume 和 Kafka 的相关功能已经通了。但是 spark 没什么使用经验。 看网上教程是要自己写 Scala 脚本然后打成 jar 包给 Spark 执行。

    我想用 spark 实现检测 kafka 的数据流,如果发现 error 字样,就发送邮件。 请问各位大佬有没有相关脚本或者教程的地址可以参考的?

    谢谢大家。

    4 回复  |  直到 2019-04-23 23:00:09 +08:00
        2
    KOSKERS   236 天前
    @kex0916 谢谢。我去看看
        3
    bantao   235 天前
    flume 和 spark streaming 都可以消费 kafka 的消息数据,你的场景不复杂,不需要用 sparkstreaming 了,建议写个 flume 的拦截器比较简单的 https://www.jianshu.com/p/1b083f67aacc。
        4
    KOSKERS   235 天前
    @bantao 你好。我的目的是监控脚本如果发现有 error。就发送邮件。我本来的想法是 flume 收集,然后 shell 查看日志发送邮件的。但是老板说这样功能太重。我网上看了看貌似都是说用 spark 做的
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2315 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 39ms · UTC 08:33 · PVG 16:33 · LAX 00:33 · JFK 03:33
    ♥ Do have faith in what you're doing.