GPU 虚拟化有哪些应用场景？

[walkingDoge]

老板让做这个需求，但是个人对应用的场景比较疑惑？ 预期是在 K8S 上，将卡根据算力和显存维度划分，分给不同的租户。

现在的大模型随随便便吃几十个 G 的显存，做推理时会考虑用虚拟化后的卡么？ 或者不是大模型场景，什么样的用户需求会使用到虚拟化后的小小卡呢？

[zmcity]

视频转码，小模型在线推理之类的会用到。

[dzdh]

https://pc.haimacloud.com/

[carmark]

开发机，小模型（ CV ）推理。

[clemente]

目的是 最大化 售卖算力 本质和 12306 卖火车票一样的. a-b + b-c = a-c

[mumbler]

阿里云 GPU 去年这会儿 T4 每小时几毛钱，春节后就涨了 10 倍，还不是因为租的人太多了

现在 AI 开源项目大都需要 GPU 运行，语音识别，逻辑推理，图片生成。。。

[minami]

现代操作系统和应用程序基本都抛弃了没有 GPU 加速的硬件了，你用 qxl 显卡跑一下 electron 或者 flutter 就知道有多难受了

[goodryb]

不能一上来就是大模型把，想想没有大模型之前，GPU 都用来做什么

[moefishtang]

云游戏

[moefishtang]

@moefishtang 当我没说

[magichan]

像其他人说的，CV 小模型是我这边遇到的场景，一张卡上可以跑多个 CV 小模型提供不同的业务价值。

可以看看去年刚开源的 HAMi 项目，防止重复造轮子

[ladypxy]

多了。大企业用小机跑 Citrix ，然后用户用远程桌面来做设计。

[rainbowhu]

虚拟化说到底还是为了提高使用率吧，独占 gpu 使用率太低了

[jayeli]

kubevirt ?

[rainbowhu]

@rainbowhu 好像说了废话，当我没说

[wangyzj]

有
不过应该是效果不是很好
还是不同类型卡直通绑定比较好

[mightybruce]

是不是大模型场景，如果是大模型场景，那么必然要显卡虚拟化，并且 nvidia 等各个显卡厂家都是支持不同粒度的虚拟化用来避免资源浪费。
显卡没虚拟化
第一、gpu 独占，gpu 使用率第
第二、导致资源孤岛，不同 team 的任务开发，训练、推理每一步所消耗的 gpu 是不一样的，而 gpu 资源没有池化，无法利用。

不是大模型场景，推理任务是很快的，往往任务都可以在一张显卡上完成，只要做好调度就可以了。

[chengyecc]

云工作站

[towangjianfeng]

GPU 虚拟化的作用是把 GPU 或者显卡共享给多个不同的租户。在嵌入式的汽车领域的跨域融合（一般是 Type1 类型的虚拟化系统，在一个板子上运行多个虚机），服务器领域有 GPU 算力共享的虚机，，还有软件研发前期验证也可能用到虚拟机（芯片厂的硬件流片前，没有硬件），还有就是桌面虚拟化（本地虚拟机运行桌面共享的 GPU 加速，远程桌面 GPU 加速），想到的是这些。

[Cloutain]

云游戏

[fighterhit]

gpu-manager cGPU qGPU mGPU 几年前的东西了...