有什么日志系统推荐么?如果一天就有几千万条日志的话

2017-07-02 17:51:42 +08:00
 qwe321
请问有什么优秀的系统,打算在机房放一台高配物理服务器做日志系统。然后通过公网连接到云主机,如果购买云主机的话价格实在是太贵了。
3483 次点击
所在节点    问与答
6 条回复
yghack
2017-07-02 17:58:03 +08:00
ELK
sandbeach
2017-07-03 10:00:13 +08:00
一千万条每条 500Byte 大约 5GB/Day,不算大,但日志系统这个范畴比较大了

1. 如果是应用日志查询与统计,一般使用 ELK
2. 如果是日志处理系统(流处理),一般使用 Kafka + Logstash/FluentD
3. 如果是日志离线存储,一般使用 Flume,或者 Kafka Connect,Hadoop,Hive/Spark

所以取决于你要做的事情当前、以及未来的需求,如果要从长远去建设一个日志系统,以上几点都需要考虑支持,一般而言一个合理的日志架构是:
1. 一套健全的日志采集系统(能够从各渠道将日志统一):例如 Web Click,Access Log,Database BinLog,Metric,IoT 等等
2. 一个弹性海量日志处理中间件,将日志从收集端与下游消费者统一。例如 Storm、Flink 等都可以实时处理采集的日志程序,不用拉若干条线
3. 一个能够实时索引保存查询日志的软件,例如 ELK
4. 一个将采集日志准实时同步到数仓库的软件,例如 Kafka Connect
5. 找到对接流计算,离线计算的机制与系统

非功能需求:保证系统保序(负责事物处理)、高可用、稳定、低成本、弹性伸缩,这些一般都是发展中需要考虑的。拿一台机器作为“日志服务器”,这个有点像 10 年前的 syslog 服务器,用来做日志查看可以,如果真作为一个依赖的基础设施,有点勉强。

一个“好的架构”在一开始物理和人力投入还是比较多的,好处是一旦建设完成后,后面加需求或加日志都会非常轻松很多。

最后一段是广告(利益相关:阿里云日志服务工程师)

如果你需要一个 SaaS 化日志服务,可以考虑使用阿里云日志服务( http://www.aliyun.com/product/sls/),支持各种线上 IDC、以及云环境。在性能、稳定性、成本以及专业程度都是国内比较可以的,因为阿里巴巴内部也是用同样一套产品在不断磨练升级,很多大场和创业公司都在使用。

至于成本,无论是前期投入还是计费都是开源方案的 25%一下,这里有一个比较( https://help.aliyun.com/document_detail/51097.html),可以参考。
qwe321
2017-07-03 11:21:12 +08:00
@sandbeach 感谢,但是我们目前使用的是贵司的竞品,腾讯云主机。。。如果采用阿里云的日志服务,就是要浪费点公网带宽了。
nobodybutme
2017-07-03 14:21:48 +08:00
进来学习学习
sandbeach
2017-07-03 19:38:15 +08:00
@qwe321 是的,确实是可部署的软件是更适合的:)
qwe321
2017-07-03 21:14:19 +08:00
@sandbeach 嗯,如果使用阿里云主机的话,应该就会用这个日志服务了。可惜我们目前是腾讯云的代理商,有不少折扣,所以暂时不会切换。并且备案也是一个大麻烦

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/372510

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX