推荐个开源的中文日志采集工具 logkit

[wonderflow]

https://github.com/qiniu/logkit

优势

• GO 语言编写，性能优良，资源消耗低，跨平台支持。
• Web 支持，提供 页面 对数据收集、解析、发送过程可视化
• 插件式架构，扩展性强，使用灵活，易于复用。
• 定制化能力强，可以仅使用部分 logkit 包，以此定制专属收集工具。
• 配置简单，易于上手，可通过 页面 进行操作管理。
• 原生中文支持，没有汉化烦恼。
• 功能全面，涵盖了包括 grok 解析、metric 收集、字段变化 (transform) 在内的多种开源软件特点。
• 生态全面，数据发送到七牛的 Pandora 大数据平台支持包括时序数据库、日志检索以及压缩永久存储等多种数据落地方案。
• 数据收集安全稳定，拥有磁盘队列、内存队列、错误重试、压缩传输、限速限流等多种机制，数据发送不重不漏。
• 集群化，可以通过一个 logkit 作为 master 在 web 管理众多 logkit，对整体集群进行管理。

支持的数据源

• File: 读取文件中的日志数据，包括 csv 格式的文件，kafka-rest 日志文件，nginx 日志文件等,并支持以 grok 的方式解析日志。
• Elasticsearch: 读取 ElasticSearch 中的数据。
• MongoDB: 读取 MongoDB 中的数据。
• MySQL: 读取 MySQL 中的数据。
• MicroSoft SQL Server: 读取 Microsoft SQL Server 中的数据。
• Postgre SQL: 读取 PostgreSQL 中的数据。
• Kafka: 读取 Kafka 中的数据。
• Redis: 读取 Redis 中的数据。
• Socket: 读取 tcp\udp\unixsocket 协议中的数据。
• Http: 作为 http 服务端，接受 POST 请求发送过来的数据。
• Script: 支持执行脚本，并获得执行结果中的数据。
• Snmp: 主动抓取 Snmp 服务中的数据。