小公司，想做一个日志分析的程序，带 Web 前端的，求方案推荐

[nbsn]

请问下各位 V 友，我们小公司目前有个小需求，是对日志文件的按需处理。需求和模块如下。请问下有没有合适解决方案呢？求支招。谢谢！

日志文件处理：

需求：
数据源：第三方程序生成明文的，固定格式的日志，定时以 ftp 方式吐到 ftp 服务器上的文件夹；

日志处理：
日志数据文件，按时间段自动打包压缩；

数据库：
根据日志数据文件收到的内容，全额写入数据库；
数据库定时备份；

Web 前端：
设定统计条件，读取数据库，生成统计图，表格；
日志延时处理；

后端：
通过 LDAP 连接 AD，定时遍历 AD 用户内容，维护日志映射表，web 前端统计调用；

审计模块：
操作日志的记录；

通知模块：
设定通知条件，达到条件后自动触发通知；
大量日志告警通知功能；

[lhx2008]

数据不多推到云上呗。。省事

[nbsn]

@lhx2008 云上有合适的处理的引擎吗？比如归类，按照大小排序，将结果写入数据库等？

[lhx2008]

@nbsn #2 腾讯云的 CLS 我用过的 OK，可以自己整大盘和图、告警，你要在自己执行查询应该也有接口

[BeautifulSoap]

不是做成产品，是拿来公司内部用？
那直接上 ELK 啊，你的需求都能满足

[cominghome]

Grafana + Elasticsearch 不香吗？

[tianyuan233]

kibana

[chawuchiren]

@lhx2008 腾讯云的 CLS，你们怎么处理的分词？

[RRRoger]

elk

[varrily]

阿里 日志服务

[nbsn]

@BeautifulSoap 谢谢推荐，看来这个不错

[37Y37]

推荐 ELK，画图这块可以看 Grafana 看能不能满足，不行的话自己写也可以，ES 有 API
我们实现的一些思路，可以参考 https://blog.ops-coffee.cn/elk

[ychost]

推荐 ELK + Telegraf + Grafana

[nbsn]

@37Y37 Grafana 做前端，汉化有压力。有部分业务面向客户的。

[pkupyx]

上云，然后买买买

[zzzmh]

@lhx2008 学到了，cls 好像挺好的适合我，我之前是自己用 java 写，各种麻烦还不完美各种小问题，cls 正好适合我的需求，价格也能接受

[nbsn]

@37Y37 请问下可以提供下技术支持吗？有￥

[drinkjs]

前端数据可视化可以看下 Mojito

[shynome]

@nbsn 找个人做 grafana 做汉化不行吗？既完成了业务也造福了大家