刚整了个家用 pve 服务器, 5950x+rx6400, 记录一下 a 卡显卡直通碰到的坑

主板是 MSI MEG x570 unify, 升了最新的 BIOS

无法进入 pve 安装界面

这是因为最新的 BIOS 为了支持 Win11, 自动把 TPM 给打开了, 去 BIOS 里关闭 TPM

如果默认开了 Safe Boot, 也要关掉(有 work around 可以开着 Safe Boot 进行后面的安装可是太麻烦, 建议直接关掉.

顺便 Resizable BAR 会导致 windows 虚拟机显卡代码 43, 所以最好也关掉.

当然 IOMMU 和 AMD-V 是必开的这就不用多说了.

宿主机 pve 7.2

pve 安装时获取完 DHCP 地址就卡死在启动安装 GUI, 看 log 错误是显卡驱动问题导致 xorg 无法启动

解决办法用 debug 模式安装, 在出错后 ctrl+c 中断, 并执行以下命令

$ chmod 1777 /tmp 
$ Xorg -configure   
$ mv /xorg.conf.new /etc/X11/xorg.conf
$ nano /etc/X11/xorg.conf # 把所有 Driver "amdgpu" 替换成 "fbdev" 会有多个设备, 全都要改. 
$ startx

就可以正常打开安装 GUI 进行安装

安装完毕后宿主机识别不了显卡

这个简单, 只需要更新一下包就行, 最新的 mesa 驱动里就有最新的 amd 显卡支援

# 先更新软件包
sudo apt update && apt upgrade -y

# 再更新 pciid 数据库
update-pciids

虚拟机是 debian 11

然后按步就搬显卡直通给虚拟机(这个网上教程一大堆,我只写新 A 卡需要注意的地方)

直通后虚拟机启动一半停住, 报错

[drm:psp_sw_init [amdgpu]] *ERROR* Failed to load psp firmware!

需要更新 firmware

# 先进到 home
cd ~ 

# 创建一个文件夹来放固件
mkdir fw

# 下载最新固件
git clone   git://git.kernel.org/pub/scm/linux/kernel/git/firmware/linux-firmware.git fw

# 再确认一下下载的固件是否正常
ls fw

# 确认没问题就可以更新固件了
rsync -avh fw/amdgpu/* /lib/firmware/amdgpu/

也可以添加 backports 源并更新 firmware-amd-graphics 但是不保证能解决问题

如果你要使用 xorg, 启动还是会报错:

[     5.485] (EE) open /dev/fb0: No such file or directory
[     5.485] vesa: Ignoring device with a bound kernel driver
[     5.485] (EE) Screen 0 deleted because of no matching config section.
[     5.485] (II) UnloadModule: "modesetting"
[     5.485] (EE) Screen 0 deleted because of no matching config section.
[     5.485] (II) UnloadModule: "fbdev"
[     5.485] (II) UnloadSubModule: "fbdevhw"
[     5.485] (EE) Screen 0 deleted because of no matching config section.
[     5.485] (II) UnloadModule: "vesa"
[     5.485] (EE) Device(s) detected, but none match those in the config file.
[     5.485] (EE)
Fatal server error:
[     5.485] (EE) no screens found(EE)
[     5.485] (EE)

这是因为 xorg 会去找不同的驱动需要强制让 xorg 使用 amdgpu 驱动

#修改 xorg 配置文件
nano /etc/X11/xorg.conf

#强制使用 amdgpu 驱动
Section "Device"
     Identifier "Device0"
     Driver     "amdgpu"
EndSection

再重启, dmesg | grep -i amdgpu 显示正常初始化, xorg 日志显示

(II) AMDGPU(0): Setting screen physical size to 381 x 238

正常加载问题解决

主要都是驱动和固件的问题, 还有 rx6400 这显卡是完全没有 Encoding 的, 只适合拿来输出图像, 不适合用来做影音服务器, 属于性价比巨低的亮机卡.(我主要是拿来跑一个需要 3d 渲染的小项目, 6400 也够了)