V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
gamexg
V2EX  ›  问与答

复杂的系统怎么统一日志及服务状态监控?涉及到 django、celery、java、socket.io、python 独立程序、第三方程序、linux、windows、android ...

  •  
  •   gamexg · 2015-06-01 11:02:11 +08:00 · 2419 次点击
    这是一个创建于 3467 天前的主题,其中的信息可能已经有所发展或是发生改变。

    windows 是按需启动的实例,完成后就会被销毁。

    从来做过这么复杂的东西,现在原型是运行起来了,但是日志很乱,甚至有的没有。
    各个组件之间的接口也很乱,单元测试也还没有啊!!!

    基本功能要全部完成了,下一步打算整理重构整个系统,现在想问一下大家有没有什么日志、可用状态监控的方案推荐?

    现在追加一个功能最头疼的就是错误处理部分,出错了怎么标识出来,一个任务涉及到多个语言,时长3-120分钟不等...
    现在是每个组件都通过django向任务的log字段写日志,出错直接中断整个任务。

    但是很多其他组件的日志也没有搜集,状态监控也没有,挂了都不知道...

    例如:celery 出现 工作者 卡在那里不接受新任务,也许是跨洋网络不稳定...

    现在想把同一用户、同一任务在不同系统的日志全部关联起来,出现问题也好定位。同时还有各个服务状态也需要监控起来,出错好能够处理...

    1 条回复    2015-06-01 11:56:21 +08:00
    wklken
        1
    wklken  
       2015-06-01 11:56:21 +08:00   ❤️ 1
    进程监控神马的, 上supervisor
    错误日志收集, sentry应该够了
    业务日志收集? logstash
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3120 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 14:09 · PVG 22:09 · LAX 06:09 · JFK 09:09
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.