V2EX › fanfank 的所有回复 › 第 1 页 / 共 1 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

2016-04-05 20:36:47 +08:00

@hustlike 我在这个帖子的追加内容中补充了一下， splunk 我不太了解，是不是和 ELK 等工具差不多的日志解决方案？如果是的话那起码它需要额外的机器资源，或者需要在线上服务的机器中部署收集日志的 agent 或在业务代码 /框架中发送消息到日志收集器，体量上相对大一点

2016-04-05 20:17:19 +08:00

@suduo1987 对日志文件中的每一行都用正则去判断（例如用 grep ）是非常耗资源的， benchamark 参见： http://blog.reetsee.com/archives/502

2016-04-05 20:15:30 +08:00

@vus520 grep 、 awk 、 timecat 的 benchmark 参见这个地址中的第 4 部分，我就是怕发太多了没人看所以没有在这里贴 benchmark ： http://blog.reetsee.com/archives/502

2016-04-05 20:13:40 +08:00

@iambic 对，按日志切分也会非常大，日志文件也可能非常大，尤其是最前面做 Load balance 的机器。实时搜索速度是很重要的，尤其你可能需要使用 logid 去关联整个调用链，数十个日志文件，即便切分过，每个都全量去 grep 耗时会比较长