对于大数据集群环境各类资源的审计大家有没有比较好的方案?

2022-04-16 21:28:18 +08:00
 LennonChin

这种资源审计的目的其实就是为了算钱,计算每类资源、每个作业、每次查询到底花了多少钱,为后续的配额、性能优化做参考。

我的思考是不管是自建集群还是基于云的集群,本质上是将硬件付费或 IaaS 付费转换为 PaaS 或 SaaS 的计费模式,需要先有外部付费账单,才能内部各类计算资源的消费详单。

但是大多数的大数据集群环境里存在多种计算引擎或存储引擎,各自的工作模式也不尽相同,这种情况下怎么统一计费的模型就是一个困难点。同时很多服务存在混部情况,难免各自之间会有一定的影响,因此在做资源审计的时候审计数据的采集又是一个比较麻烦的问题。

目前没有找到类似的开源方案,不过大部分做基于公有云大数据计算环境的都会有一套自己的方案,不知道这些厂商是怎么做的。

1065 次点击
所在节点    程序员
1 条回复
disk
2022-04-17 11:09:12 +08:00
外部计费是看得见的,像 aws 什么的,分的很细,按具体的业务、功能和资源使用计费,统计也好做。至于内部资源的审计,成本核算,以及定价方法,就不清楚了。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/847392

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX