1
yidinghe 2017-10-12 15:53:52 +08:00
ELK 是比较成熟的方案
|
2
omygod 2017-10-12 16:50:02 +08:00
controller 统一接收 post 请求,参数全部写在 requestbody 中,aop 拦截请求参数写入文件或消息队列,看情况写入 hadoop 或其他存储中落地保存,不知道这种方式行不行?
|
3
xrlin 2017-10-12 16:53:44 +08:00
我也想知道有没有好的记录日志的方法, 如果还需要给用户查看操作记录, 用中间件之类的方式也感觉不太好使, 很难做到通用.
|
4
autulin OP @yidinghe 之前也看了一下 ELK 的架构,初步感觉这个用于记录系统运行的日志还行,但是用来记录用户行为(访问接口、参数等)这种的结构化数据好像没有看到比较好的方案,比如可以在之后来统计某个用户访问某个接口多少次、访问时的参数是什么
|
5
autulin OP @omygod 接口是 Restful 的已经定了,就不好改了。当然也可以从 request 里面稍微自己解析一下之后按照您的方法来存储,但是存到 Hadoop 之后再解析的话,感觉这个工程量还是有点大
|
6
blueorange 2017-10-13 10:48:07 +08:00
我们之前同事是每个业务里面写一次,贼麻烦。
|
7
autulin OP @blueorange #8 是啊,我现在暂时的方法是这样。另外问一下你们是存储到哪的?
|
8
upupxjg 2017-10-13 18:04:00 +08:00
ELK 本身是没有问题的,而问题在于收集的元数据格式不统一,这是当时定接口时候的坑,感觉也没啥好办法,必然要对各个 controller 的日志进行转换,不过可以想办法从应用中拿出来,统一到一个 ETL 过程中,尽量做逻辑复用和拼接吧
|
10
aboutyang 2017-11-02 17:41:28 +08:00
我的处理方式:
1. 通过这个 Filter 把用户标识、请求 IP 等信息 放在线程变量中; 2. 新建一个 LogOperator 的 annotation, 里面可以增加一些字段 表示办理的业务; 3. 使用 aop 拦截这个 annotation, 构造 OperaotrEvent 对象; OperatorEvent 中可以记录用户标识、请求 IP 等信息,同时把拦截方法的入参、返回 和 异常 都转换成 JSON 存储在 OperatorEvent 当中; 4. 异步发布这个事件,通过事件监听处理数据; |