求助有关 PVE 下的 OpenWRT 做主路由这件事

17 小时 48 分钟前
 Shir0k0

刚刚搞了一套 All in boom 的硬件( i5-12400 + 32G ),不知道如下的操作得不得行:

前置条件:

  1. 外部网络通过 DHCP 服务提供,不关心这一个外部网络接口以外的任何网络结构
  2. AIB 有 4 个网口
  3. 有一个已经刷了 Openwrt 但是性能特别差的路由器(可以用来当无线 AP )
  4. 有一台电脑有有线上网需求

我想:

  1. PVE 通过一个固定网口当紧急情况下(比如说内部 VM 全部挂掉)的管理口
  2. PVE 内部跑一个 Openwrt 当主路由,直通三个网口给 Openwrt 。(一个口链接外部网络,一个口给 AP ,一个口链接电脑)
  3. PVE 内部跑一个 TrueNAS 当 NAS 系统,直通所有 SATA 口到 TrueNAS 上。
  4. TrueNAS 通过某种方式加入 Openwrt 主路由的局域网,和其他设备实现互相访问(比如说 AIB 出来的一个网口上的设备能够直接链接 TrueNAS ,而不用 NAT 或者什么转发)。
  5. 局域网内的设备可以通过 Openwrt 访问到 PVE 的管理口,但是不影响 PVE 提供的那个网口的功能。(比如说在 Openwrt 这个 VM 没炸的时候局域网里其他设备可以用某个 IP 访问 PVE 管理口提供的服务,但是如果 Openwrt 这个 VM 炸了把网线连接到管理口上也是可以正常使用的(比如说手动设置网段之类的))

求助:

  1. 我想的东西是否可以实现,如果可以,这套方案的性能会很差吗?主要是 TrueNAS 和 Openwrt 之间如何互相访问,虚拟一个网卡?虚拟出来的网卡如果走 VirtIO 会不会导致吃一点 CPU ?(比较关心 CPU 占用是因为我不想让 AIB 太热,不然太吵)
  2. 如果可以实现,能提供一点技术上的提示或者指南,里面有一些我还是不太清除的,特别是有关网络设定这部分。我对 KVM 很熟悉。
818 次点击
所在节点    NAS
11 条回复
starrynight9
16 小时 39 分钟前
我目前的方案和你说的差不多,就是 j4125 下面虚拟个 op 和 debian ,然后 op 直通 3 个 2.5g ,debian 是直接用的 pve 的虚拟 virtIO 虚拟网卡,其实如果你的管理端口和 op 在同一网段,那么 pve 下的所有虚拟机的虚拟网卡 virtIO 都可以被 op 的 DHCP 管理并且可以互相访问
性能损耗确实有,但是我是日常使用感受不到有啥区别,可以先用着如果性能有瓶颈的话可以搞个单独的硬路由为好。
还有就是你说的所有的 vm 都炸了是可以用管理网口(就是留下的未直通的那个网卡为管理网口)访问 pve 的,但是我没碰到过,只有在更新 op 的系统的时候才这样做
piero66
16 小时 38 分钟前
12400 这种消费级硬件 不带 ipmi 的,建议主路由分开/硬路由,宿主内核崩了桥接网口都会全部 boom ,直通的 vfio 也会 boom
yyzh
16 小时 31 分钟前
的确。而且 12 代就是出问题的那代吧。小心 cpu BOOM!
yyzh
16 小时 30 分钟前
@yyzh 搞错了。是 13/14 代的
NotFoundEgg
16 小时 4 分钟前
可以看看这个是否满足你的需求,听起来是与你的需求比较相似 https://www.bilibili.com/video/BV1GY41177Es/
bobryjosin
16 小时 2 分钟前
cpu 强的话力大砖飞,直不直通日常体验差别不大,VirtIO 半虚拟化网卡性能最好,同一个 vmbr 里面跑个 25G 没啥问题,不复杂的话两个 bridge ,一个网口外网,剩下的所有网口扔到一个 bridge 里面,再配个静态 ip ,建议加台硬路由做备份故障转移,不然 boom 了之后,直接断网。
Shir0k0
14 小时 1 分钟前
感谢各位的评论,十分有价值,看起来起码我没有想一些不可能实现的操作。这套只有我一个人用 Boom 了就 Boom 了,上班的时候不用,用的时候都是在家;之前确实有考虑 IPMI/vPro ,但是想了想感觉没什么必要,除非是放在超远程异地的机器(我老家有一台 NAS 崩了,这也是我装这台 AIB 的原因之一),BTW ,PiKVM 看上去很有意思(虽然有点小贵)。
现在的路由器(之后的 AP )也可以当一个手动 fallback ,到时候备份一下现有的配置感觉能应急用一下。

感觉对于单身社畜来说 AIB 只要别天天 Boom 问题都不大(我不打网络游戏)。
txydhr
6 小时 47 分钟前
@yyzh 搞错了是 10/11 代
sayoll
5 小时 25 分钟前
同 12400 ,用了一年多没任何问题
badgv
1 小时 42 分钟前
OP 直通的 3 个网口,剩下的 1 个网口上面,创建一个“虚拟交换机”,虚拟机上面可以创建很多个虚拟网口,PVE 本身的管理地址也是“插在这个虚拟交换机上面的”。
1 、在这个虚拟交换机上面,给 OP 添加 1 个虚拟网卡进去,将这个虚拟网卡和直通网口的 LAN 口,一起放到一个 br-lan 里面;
2 、trueNAS 也添加一个虚拟网口;
3 、这样正常情况下,可以通过直通给 OP 的网口,访问到 PVE 主机本身和 trueNAT 。
4 、OP 断网时,可以直插没有直通的物理口管理 NAS 以及 trueNAS;
5 、虚拟交换机,你可以理解为插了 “未直通网口”、“OP 虚拟口”,、“trueNAS 虚拟口”,“PVE 管理虚拟口”。
原理是 op 使用的虚拟口和物理 lan 口在 op 的 br-lan 下,属于一个二层,同时,op 这个虚拟口是“插在” “虚拟交换机”上的,同时插在这个“虚拟交换机”上的还有 PVE 管理口和 trueNAS 网口,所以同属于一个二层环境。
以上是基于 ESXI 用法,PVE 没玩过不太清楚,至于性能的话,主要是看 CPU 了,CPU 强点,跑满线速 G 口问题不大。
Shir0k0
32 分钟前
@txydhr 不是说 13/14 代嘛,怎么又成 10/11 代了。
@badgv 感谢,不过 ESXi 能实现的 PVE 应该也差不多,我一开始也想用 ESXi ,但是个人免费版的 ESXi 已经 EOGA 了,万恶的博通。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1074716

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX