请问有人了解 kvm 显卡直通吗？

[woyaojizhu8]

一直觉得虚拟机图形性能不够，想试试显卡直通，但看了相关介绍感觉挺困难的，比较挑硬件。这段时间一直在考虑接下来要配的台式机的配置，现在想把显卡直通这个也考虑进去，请问 e3 v3 +z87 主板和 e3 v5 +c236 主板哪个更适合显卡直通呢？宿主机系统为 ubuntu 16.04 ,客户机应该是 windows ，插两张显卡，一张主卡，一张直通给虚拟机，均限定为 n 卡，这两张显卡又选什么比较好呢？
之前发的求配置贴： https://v2ex.com/t/290762#reply53

[fzinfz]

测试过某 C602 品牌机，发现服务器很挑显卡，非兼容列表的问题 N 多， Passthrough 更挑一言不合就死机，不知道通病还是个例。。。

客户机 windows 推荐试下 Windows server 2016 preview 的 remotefx ， i3 核显都跑得很欢

[smilejustforfan]

我之前用過 vfio 做 passthrough ，顯卡是 k2 ，主板不詳， u 是 i7

[CupTools]

善用 Google

我的 blog post: https://zllovesuki.git.sx/essays/2015/09/gpu-passthrough-via-vfio-pci-with-kvm-on-ubuntu-1504/

[CupTools]

主板要支持 VT-d, that's a given
然后最好是服务器芯片，例如 C236

普通消费者板容易出问题，特别是 ACS 或者 VGA i915

[iamwb]

参考 unRAID

[Siril]

以前折腾过这个，得出几点总结：
esxi + AMD 显卡 + 正确的显卡驱动 + 运气 = 玩的 happy ；
HD7770 （ R7770 ）约等于 R7 250 ，这个级别以上的显卡容易遇到奇怪问题；
kvm = 痛苦折腾，未能折腾成功，理论上可以；
nvidia 消费级显卡（即使是泰坦）= 没可能；
集成显卡=不能直通；

vt-d 技术，需要 cpu 和主板同时支持方可启用，
intel 的
主板
消费级 Z 系列、 B 系列 大厂主板(某 G 某 A)基本都支持，可能有 bug ，
H 系列没指望，
服务器芯片组基本都没问题。
cpu vt-d 的支持： i5 、 i7 不带 k ，或 e3 e5 e7 ，详见 ark.intel.com

---------------
amd 的据说全家支持，然而性能和功耗发热悲剧，
上面是至少 1 年前的经验，
最新情况如何，比如.... 可能 (
kvm 的 bug 修了或者配置变容易了，
nvidia 新显卡放开限制了
)，
有待楼主自行测试。

[Siril]

esxi + i7/e3/e5 + a 卡， 我成功过多次，均使用过一段时间。
比如
3770 / 4790 / e3 1230v2 / e3 1230 v3 / 2620v2 / 2650 / 2660 / 2670 +
asus 的 b85 ，
asrock 的 z77 ，
gigabyte 的 b75 ，
asrock E3C224D4I-14S ，
asus z9pa-d8,
asus-P9D-MV 。。。
--------------------------
amd
HD7570 (HP OEM 渣渣)，
HD7750 ，
R7770,
R7 250E,
以上三屏 ok ，主流网游 ok
R5 230, (貌似比核显略强，至少双屏 ok ， dota ok ）
R9-270(这个配合 z77 ，似乎卡 pcie 带宽的感觉， HDMI 音频和画面在游戏时会卡住）
---------------------------
n 卡坑 die ，功能阉割， AMD 大法好。

[woyaojizhu8]

@CupTools kvm=off 是指关掉 kvm ，纯粹用 qemu 模拟？这样性能不会很差吗？还是说只是针对英伟达驱动的一种伪装，实际没有关掉 kvm ，不会有性能影响？
另外，为什么最好是像 c236 这样的服务器芯片组呢？ z87 这样的芯片组有什么额外的问题呢？ ACS 的话， e3 本来就不支持的;而 VGA i915 的话，虽然我没看懂它具体是做什么的，但好像跟 intel 核显有关，而我考虑的 cpu 型号都是不带核显的

[woyaojizhu8]

@Siril 因为从前用 a 卡时被蓝屏和内部错误折磨得痛苦不堪，所以不到万不得已不想考虑 a 卡

[woyaojizhu8]

@fzinfz 那有没有一个包含 n 卡的兼容显卡列表呢？

[fzinfz]

@woyaojizhu8 官方的兼容卡太贵我没有测试，测了 3 张都会 PCI bus error 就放弃了。而且兼容显卡列表并不一定指一定兼容 VT-D passthrough 。

考虑 Xen 的话可以参考下这个链接：
https://en.wikipedia.org/wiki/List_of_IOMMU-supporting_hardware#Nvidia

[CupTools]

@woyaojizhu8

kvm=off 不代表关掉 kvm 加速，只是隐藏 kvm 的 flag 。旧的 n 卡驱动 kvm=off 就够了，但是新的驱动需要改 vendor_id

服务器板对 IOMMU 支持会更好， rule of thumb 。一般的芯片你可以自己试试。

[AILion]

这道题我会做（举手）

根据题目中“虚拟机图形性能不够”、“双显卡”，我理解成你是要自己日常使用包括玩游戏，而不是拿来做服务器的

KVM
优点：显卡支持还可以
缺点挺多的：你需要长期运行一个臃肿的底层系统比如说 Ubuntu ，你对底层系统的更新、升级、意外操作都可能让整个架构崩溃。重启底层系统意味着完全关机。除非你用 SSH 等 CUI 方式连接到底层系统，否则你可用的虚拟机数量=显卡数量-1

推荐使用 VMware ESXi
优点：底层系统非常小性能损失低、虚拟机数量=显卡数量、定位就是虚拟机，功能非常完善、虚拟机玩大型游戏杠杠的
缺点：日常使用支持部分 A 卡。 N 卡除了超高端系列都会报 53 错误无法驱动。

赠送 Google 关键词： one cpu x gamers , x=>2~7

[woyaojizhu8]

@AILion 我选择 kvm 一个原因是它支持 n 卡（虽然也被英伟达封杀但没有 vsphere 上那么彻底），但更重要正是因为它需要运行一个底层系统。如果我选择 vsphere ,只能通过远程操控，在操作上感觉跟配了多台电脑没什么区别，无法灵活切换。

[woyaojizhu8]

@CupTools
@AILion
@Siril 是不是直通显卡的话，只能另外接一个显示器，而不能将虚拟机画面显示在主机屏幕上的一个窗口里？

[AILion]

@woyaojizhu8 显卡直通的意思就是 GPU 独占，当然必须是独立的显卡+独立的显示器

[Azus]

@woyaojizhu8
配新系统，如果是我就咬牙上 e5, acs patch 不会被正式内核接受，毕竟作者也不确定是否会对系统造成损害
将来的内核升级都得手工打 patch, 哪天不能用了或出什么古怪问题也不确定
e3 v3 + z87, z87 不支持 ecc 内存. 不考虑 ecc 内存，不如上 LGA 2011 接口的 i7, 可以支持 ACS
e3 v5 + c236, 既然放弃原生 ACS 支持，当然需要考虑增加 iGVT-g 支持了，还是选带核显的 U 好
ssd m6s 不带断电保护，选 ssd 可参考下 http://open-zfs.org/wiki/Hardware#Power_Failure_Protection
显卡先别买，用手头的老卡先练手，老卡一般也比新卡碰到的问题少
如果手头有老机器适合练手，先用老机器走通流程, 把概念摸清

@AILion
"对底层系统的更新、升级、意外操作都可能让整个架构崩溃。重启底层系统意味着完全关机。" 这句话不管是对 ESXi 或 Xen, 都适用. 底层系统只装虚拟相关软件，能有多臃肿. 而且长期运行的项目适合丢到容器里，总比下面再多一层 ESXi 或 Xen 性能更好.

[woyaojizhu8]

@CupTools
@Azus
@Siril xeon e5 1620 v3 (淘宝拆机货）+ 华擎 x99 极限玩家 3 +三星 16gx2 ddr4 2133p recc 内存这个组合怎么样？这个支持 acs 而且价格相对便宜（大约 4000 ）

[CupTools]

@woyaojizhu8 🌚 这道题我不会做 玩的都是 Xeon D

[Azus]

@woyaojizhu8 私以为这样搭配可以接受