关于项目运行期间的项目状态监控、日志搜集、汇总，大家有什么好办法吗？

[nonesuccess]

技术栈是 java web 的。项目中有各种各样需要的东西。说结构化肯定算不上，完全按照非结构化去处理，也不能满足要求，不知道这样说能不能理解。

比如某用户登录时，打了一条日志，该有的信息都打进去了，但是是个非结构化的字符串。

可能某天想统计用户登录情况，面对一堆堆的日志，很难去找到想要的信息。

又比如项目会有一些夜里运行的批量任务，现在运行情况也是随手扔到日志里，突然有一天发现问题的时候，想统计近期两个月的运行情况，也非常困难。

而且这些内容最好能让非技术人员能看懂，并做初步的处理。

这种类似的需求有十几个甚至几十个，也许执行一段时间之后就不需要了。如果每个都去建表写功能的话，工作量是一方面，感觉多了一些这样的东西，对项目复杂度的控制也不太好，不知道大家有没有什么好主意。

另外，求一个类似这样的日志工具：载入日志文件后，能按一定规则把用户分条显示出来，并且可以按照关键字做筛选，比如所有 INFO 级别的包含 id=xxxx 字样的日志。

[HunterPan]

调用链日志开发 确实是很难的.
还是推荐 flume+kafak+(spark)storm 之类的,然后选择合适的存储引起,例如 es...