请教数据整合处理的问题

2022-06-04 23:19:08 +08:00
 iian
https://i.imgur.com/11yO3cr

工作中遇到以下情况:
1.有些安全设备可以提供 API 接口,例如可以读取到当前中毒的用户 ID ;另外一些设备仅能提供 syslog 日志,需要从日志中过滤出有问题的 IP 。
2.内部已有 ETL 工具可以将 API 获取到的用户 ID 或者 syslog 日志进行数据处理。

存在的问题:
3.ETL 工具无法通过 API 将处理后的数据提交到右侧的系统中,例如将 1 中过滤出的 ID 通过认证系统的 API 提交将用户在认证系统中禁用。
4.ETL 工具无法执行网络设备的命令或者 shell 脚本对有问题的 IP 添加到黑名单中。

疑问:
5.对 ETL 不了解,可能 ETL 本身就不是处理此类问题的,那应该用什么方式处理?
6.是不是中间这个环节就不应该使用 ETL ,或者 ETL 之后还应当有个平台拿到 ETL 输出的数据然后调用 API 或执行一些编辑好的命令?

请问是否有一个通用的平台能处理此类问题?还是只能写脚本“定制化”处理每个问题?
1366 次点击
所在节点    程序员
5 条回复
liprais
2022-06-05 00:27:23 +08:00
这跟 etl 有啥关系
数据整合好了谁要用谁自己来拿呗
或者谁要用谁自己提供个 consume 的方法呗
FYFX
2022-06-05 10:31:47 +08:00
ETL 只做数据处理啊,如果需要消费的话就让 ETL 把最终结果保存在 MySQL/Redis 之类的存储引擎就好,然后看情况是直连存储引擎还是通过平台配置接口(理论上只提供数据查询接口),然后业务逻辑是调用方自己做的,不过至于平台这个得看你所在的公司了,我之前在美团的时候是都有的
iian
2022-06-05 11:05:20 +08:00
@liprais
@FYFX

我负责的是左侧的安全检测设备和右侧的认证系统、防火墙设备。

现在想了解的是有没有现成的平台可以从 A 系统的 API 获取并信息处理,然后调用 B 系统的 API 提交数据(此处还希望能实现例如 ssh ip 后,执行固定的几个命令将从 A 系统拿到的 IP 添加到黑名单中)。
dayeye2006199
2022-06-05 13:28:55 +08:00
你说的是 reverse etl ,其实没有特别好的开源工具。考虑商业的话可以考虑 hightouch ,配合自定义 webhook 使用。

https://hightouch.io/docs/destinations/webhook/
iian
2022-06-06 00:09:30 +08:00
@dayeye2006199 看了下介绍,reverse etl 应该就是我需要的东西,我再查查相关资料。感谢。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/857309

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX