智算中心 GPU 监控

[wxd21020]

老哥们，如何监控智算中心的显卡使用情况呀，想搞个平台监控智算中心的各种数据。

[wxd21020]

没人么

[ellipsecheung]

多大规模的，什么显卡，要监控哪些数据

[gesse]

nvidia-smi

[wxd21020]

@ellipsecheung 千卡级 A100 起步

[mgrddsj]

用过某高校的 HPC ，也是好多的 GPU 服务器，是用 Grafana 搭的资源占用监控。

[wxd21020]

@mgrddsj 展开说说，grafana 就是个展示 web 吧，数据是怎么抽取的，拿普罗米修斯吗

[mgrddsj]

@wxd21020 #6 具体怎么实现的不太清楚，我只是用户。网上估计有相关教程？

[ellipsecheung]

@wxd21020 加个 wx 聊一下？

[Mi1kTea]

https://github.com/utkuozdemir/nvidia_gpu_exporter?tab=readme-ov-file
nvidia exporter 获取数据+Prometheus 整合数据+grafana 展示