这是一个创建于 1305 天前的主题，其中的信息可能已经有所发展或是发生改变。
请问下各位 V 友，我们小公司目前有个小需求，是对日志文件的按需处理。需求和模块如下。请问下有没有合适解决方案呢？求支招。谢谢！
日志文件处理：
需求：
数据源：第三方程序生成明文的，固定格式的日志，定时以 ftp 方式吐到 ftp 服务器上的文件夹；
日志处理：
日志数据文件，按时间段自动打包压缩；
数据库：
根据日志数据文件收到的内容，全额写入数据库；
数据库定时备份；
Web 前端：
设定统计条件，读取数据库，生成统计图，表格；
日志延时处理；
后端：
通过 LDAP 连接 AD，定时遍历 AD 用户内容，维护日志映射表，web 前端统计调用；
审计模块：
操作日志的记录；
通知模块：
设定通知条件，达到条件后自动触发通知；
大量日志告警通知功能；
日志文件处理：
需求：
数据源：第三方程序生成明文的，固定格式的日志，定时以 ftp 方式吐到 ftp 服务器上的文件夹；
日志处理：
日志数据文件，按时间段自动打包压缩；
数据库：
根据日志数据文件收到的内容，全额写入数据库；
数据库定时备份；
Web 前端：
设定统计条件，读取数据库，生成统计图，表格；
日志延时处理；
后端：
通过 LDAP 连接 AD，定时遍历 AD 用户内容，维护日志映射表，web 前端统计调用；
审计模块：
操作日志的记录；
通知模块：
设定通知条件，达到条件后自动触发通知；
大量日志告警通知功能；
 |
1
lhx2008 2021-04-25 00:28:54 +08:00
数据不多推到云上呗。。省事
|
 |
4
BeautifulSoap 2021-04-25 01:28:28 +08:00 via Android
不是做成产品，是拿来公司内部用？
那直接上 ELK 啊，你的需求都能满足 |
 |
5
cominghome 2021-04-25 08:58:36 +08:00  1
Grafana + Elasticsearch 不香吗？
|
 |
6
tianyuan233 2021-04-25 09:13:00 +08:00
kibana
|
 |
7
chawuchiren 2021-04-25 09:25:02 +08:00
@lhx2008 腾讯云的 CLS，你们怎么处理的分词？
|
 |
8
RRRoger 2021-04-25 09:29:34 +08:00
elk
|
 |
9
varrily 2021-04-25 09:30:45 +08:00
阿里 日志服务
|
 |
10
nbsn OP @BeautifulSoap 谢谢推荐，看来这个不错
|
 |
11
37Y37 2021-04-25 10:22:04 +08:00 1
推荐 ELK，画图这块可以看 Grafana 看能不能满足，不行的话自己写也可以，ES 有 API
我们实现的一些思路，可以参考 https://blog.ops-coffee.cn/elk |
 |
12
ychost 2021-04-25 11:43:43 +08:00
推荐 ELK + Telegraf + Grafana
|
 |
14
pkupyx 2021-04-25 14:55:20 +08:00
上云，然后买买买
|
 |
15
zzzmh 2021-04-25 15:52:19 +08:00
@lhx2008 学到了，cls 好像挺好的适合我，我之前是自己用 java 写，各种麻烦还不完美各种小问题，cls 正好适合我的需求，价格也能接受
|
 |
17
drinkjs 2021-04-26 09:40:59 +08:00
前端数据可视化可以看下 Mojito
|
Select Language