PVE 配置显卡直通

博客链接：PVE 配置显卡直通
配置

• Device: Dell PowerEdge T630
  
• CPU: Intel(R) Xeon(R) E5-2696 v4 x2
  
• GPU 1: Matrox Electronics Systems Ltd. G200eR2
  
• GPU 2: NVIDIA GeForce GTX 1060 3GB
  
• OS: Proxmox VE bookworm 8.3.1 x86_64
  

留意事项

• 硬件需支持并在 BIOS 中开启 Intel VT-D 或 AMD AMD-V
  
• BIOS 中开启 X2APIC 功能
  
• 进行任何硬件变更时请依据 手册 进行硬件配置
  
• 为了能够实时了解到 GPU 运行情况，建议连接表现器观察其响应，但如果出现主机无法识别/无法列出 PCIe 设备时请尝试拔掉表现器后重启
  
• 虚拟机存在直通设备时，建议关闭内存的 Ballooning 功能，来确保虚拟机内存不共享
  

PVE 直通显卡

开启 IOMMU 和硬件直通功能

编辑 /etc/default/grub，并修改 GRUB_CMDLINE_LINUX_DEFAULT 根据硬件平台添加如下选项

1. # Intel CPU
2. GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt initcall_blacklist=sysfb_init pcie_acs_override=downstream"
4. # AMD CPU
5. GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt initcall_blacklist=sysfb_init pcie_acs_override=downstream"

复制代码

intel_iommu=on amd_iommu=on 用于开启 IOMMU 硬件单元驱动
iommu=pt 用于跳过地址映射来提高内核驱动设备性能
initcall_blacklist=sysfb_init 用于禁用 simplefb 设备加载
在 PVE 7.3 中使用 simplefb 替代了旧的 vesafb 和 efifb
以是旧版中，Legacy BIOS 引导使用 video=vesafbff，UEFI 使用 video=efifbff
pcie_acs_override=downstream 用于拆分 iommu groups，防止分组错误时直通一个板载端口导致整个设备被直通
更新 GRUB

PVE 官方手册中给出了 proxmox-boot-tool refresh 命令用于更新 GRUB，但有可能无法正常更新，此时请根据情况尝试 update-grub
加载内核模块

编辑 /etc/modules，添加如下内容

1. vfio
2. vfio_iommu_type1
3. vfio_pci

复制代码

Linux Kernel 6.2 版本中取消了 vfio_virqfd，低于该版本需额外添加
重启 PVE

验证 IOMMU

dmesg | grep -e DMAR -e IOMMU，输出类似内容

1. [    0.000000] Warning: PCIe ACS overrides enabled; This may allow non-IOMMU protected peer-to-peer DMA
2. [    0.008734] ACPI: DMAR 0x000000007BAFE000 0000E8 (v01 DELL   PE_SC3   00000001 DELL 00000001)
3. [    0.008767] ACPI: Reserving DMAR table memory at [mem 0x7bafe000-0x7bafe0e7]
4. [    0.349828] DMAR: IOMMU enabled
5. [    0.822346] DMAR: Host address width 46
6. [    0.822348] DMAR: DRHD base: 0x000000fbffc000 flags: 0x0
7. [    0.822357] DMAR: dmar0: reg_base_addr fbffc000 ver 1:0 cap 8d2078c106f0466 ecap f020df
8. [    0.822360] DMAR: DRHD base: 0x000000c7ffc000 flags: 0x1
9. [    0.822365] DMAR: dmar1: reg_base_addr c7ffc000 ver 1:0 cap 8d2078c106f0466 ecap f020df
10. [    0.822367] DMAR: ATSR flags: 0x0
11. [    0.822370] DMAR: ATSR flags: 0x0
12. [    0.822372] DMAR-IR: IOAPIC id 10 under DRHD base  0xfbffc000 IOMMU 0
13. [    0.822374] DMAR-IR: IOAPIC id 8 under DRHD base  0xc7ffc000 IOMMU 1
14. [    0.822375] DMAR-IR: IOAPIC id 9 under DRHD base  0xc7ffc000 IOMMU 1
15. [    0.822376] DMAR-IR: HPET id 0 under DRHD base 0xc7ffc000
16. [    0.822378] DMAR-IR: Queued invalidation will be enabled to support x2apic and Intr-remapping.
17. [    0.822688] DMAR-IR: IRQ remapping was enabled on dmar0 but we are not in kdump mode
18. [    0.822995] DMAR-IR: IRQ remapping was enabled on dmar1 but we are not in kdump mode
19. [    0.823121] DMAR-IR: Enabled IRQ remapping in x2apic mode
20. [    1.331693] DMAR: No RMRR found
21. [    1.331696] DMAR: No SATC found
22. [    1.331698] DMAR: dmar0: Using Queued invalidation
23. [    1.331701] DMAR: dmar1: Using Queued invalidation
24. [    1.347932] DMAR: Intel(R) Virtualization Technology for Directed I/O

复制代码

验证 IOMMU 中断重映射

dmesg | grep remapping，输出类似内容

1. # Intel
2. [    0.822378] DMAR-IR: Queued invalidation will be enabled to support x2apic and Intr-remapping.
3. [    0.823121] DMAR-IR: Enabled IRQ remapping in x2apic mode
4. # AMD
5. AMD-Vi: Interrupt remapping enabled

复制代码

此时可以直通除显卡外的 PCIe 设备
如果没有开启，请验证 BIOS 中是否启用 X2APIC 功能
开启 X2APIC 后仍无法启用中断重映射，尝试在 /etc/modprobe.d/iommu_unsafe_interrupts.conf 中添加以下内容并重启

1. options vfio_iommu_type1 allow_unsafe_interrupts=1

复制代码

vfio_iommu_type1 启用该模块来实现设备隔离、DMA 映射及中断处理
allow_unsafe_interrupts 允许不安全的 IOMMU 中断重映射
显卡直通

屏蔽驱动

编辑 /etc/modprobe.d/pve-blacklist.conf 添加以下内容用于屏蔽对应 GPU 平台驱动，防止主机驱动 GPU

1. # Nvidia
2. blacklist nvidiafb
3. blacklist nouveau
4. blacklist nvidia
6. # AMD
7. blacklist amdgpu
8. blacklist radeon
10. # Intel UHD
11. blacklist snd_hda_codec_hdmi
12. blacklist snd_hda_intel
13. blacklist snd_hda_codec
14. blacklist snd_hda_core

复制代码

忽略显卡告诫（NVIDIA）

NVIDIA GPU 在 Windows 中可能会在使用类似 GeForce Experience Passmark Performance Test SiSoftware Sandra 应用时使出告诫
编辑 /etc/modprobe.d/kvm.conf，添加如下内容

1. options kvm ignore_msrs=1 report_ignored_msrs=0

复制代码

ignore_msrs=1 忽略异常
report_ignore_msrs=0 禁止陈诉异常
配置 VFIO，分离表现和音频输出

输入 lspci -nn | grep VGA 得到如下输出

1. 09:00.0 VGA compatible controller [0300]: Matrox Electronics Systems Ltd. G200eR2 [102b:0534] (rev 01)
2. 83:00.0 VGA compatible controller [0300]: NVIDIA Corporation GP104 [GeForce GTX 1060 3GB] [10de:1b84] (rev a1)

复制代码

显然 83:00.0 为 GPU 设备，执行 lspci -n -s 83:00，得到如下输出

1. 83:00.0 0300: 10de:1b84 (rev a1)
2. 83:00.1 0403: 10de:10f0 (rev a1)

复制代码

根据以上两次输出对比可以得到设备 ID 为 10de:1b84，则板载音频设备 ID 为 10de:10f0
将两个 ID 写入 /etc/modprobe.d/vfio.conf

1. options vfio-pci ids=10de:1b84,10de:10f0

复制代码

vfio-pci 用于将指定设备绑定到 VFIO 框架，由 vfio-pci 驱动，以便用户态进程可以直接访问这些设备
更新内核

update-initramfs -u
重启

验证 vfio-pci

执行 lspci -nnk 找到显卡设备，应为类似如下内容

1. 83:00.0 VGA compatible controller [0300]: NVIDIA Corporation GP104 [GeForce GTX 1060 3GB] [10de:1b84] (rev a1)
2.     Subsystem: GALAX GP104 [GeForce GTX 1060 3GB] [1b4c:11de]
3.     Kernel driver in use: vfio-pci
4.     Kernel modules: nvidiafb, nouveau
5. 83:00.1 Audio device [0403]: NVIDIA Corporation GP104 High Definition Audio Controller [10de:10f0] (rev a1)
6.     Subsystem: GALAX GP104 High Definition Audio Controller [1b4c:11de]
7.     Kernel driver in use: vfio-pci
8.     Kernel modules: snd_hda_intel

复制代码

其中 Kernel driver in use 值为 vfio-pci 即可
添加显卡到虚拟机

登录 PVE WebUI，进入虚拟机 Hardware 配置，Add => PCI Device
选择 Raw Device，在 Device 中选择 GPU，开启 All Functions ROM-Bar PCI-Express
点击 Add
解决 Linux 虚拟机中驱动签名验证问题

如果在 Linux 中使用 nvidia-smi 提示以下内容

1. NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.

复制代码

而且 systemd-modules-load nvidia-persistenced.service 无法启动，执行 systemctl status systemd-modules-load.service journalctl -xeu nvidia-persistenced.service 提示以下内容

1. # systemd-modules-load.service
2. modprobe: ERROR: could not insert 'nvidia': Invalid argument
3. modprobe: ERROR: could not insert 'nvidia_current_drm': Key was rejected by service
4. modprobe: ERROR: ../libkmod/libkmod-module.c:1047 command_do() Error running install command 'modprobe nvidia ; modprobe -i nvidia-current-modeset ' for module nvidia_modeset: retcode 1
5. modprobe: ERROR: could not insert 'nvidia_modeset': Invalid argument
6. modprobe: ERROR: could not insert 'nvidia_current_drm': Key was rejected by service
7. Error running install command 'modprobe nvidia-modeset ; modprobe -i nvidia-current-drm ' for module nvidia_drm: retcode 1
8. Failed to insert module 'nvidia_drm': Invalid argument
10. # nvidia-persistenced.service
11. Started (737)
12. Failed to query NVIDIA devices. Please ensure that the NVIDIA device files (/dev/nvidia*) exist, and that user 101 has read and write permissions for those files.
13. Shutdown (737)
14. nvidia-persistenced failed to initialize. Check syslog for more details.
15. nvidia-persistenced.service: Control process exited, code=exited, status=1/FAILURE

复制代码

该问题大概率由 驱动签名无法验证 导致，此时请尝试在 虚拟机 BIOS 中关闭安全启动
如果出于特殊需求或环境导致无法关闭，需注册 DKMS 密钥，注册流程比较复杂且涉及 EFI 分区改动，本文不作详解

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。