聊聊 esxi 和 pve 家用场景哪个更有优势

[loy23]

家里服务器，esxi 稳定跑了 4 年了，生产环境没用过 pve ，问想一下大家家用都是 pve 还是 esxi 。
pve 除了直通简单一点，还有什么优势么。pve 一直没怎么玩懂，感觉设置上面要比 esxi 复杂。
目前家用 esxi 下跑的是
爱快：主路由
op：科学
server2016：3 块 8T ，做一些资料和电影的存储 smb ，emby+数据库的学习+有时候远程进来查点资料+工作文件夹 rsync 家服务器公司云服务器 3 地同步
freenas：3 块 4t ，zfs 重要文件的存储，qt ，nfs 共享
debian：docker+学习用

整体用下来还是挺舒服的，esxi 给 server2016 直通了 3 块 8t ，1 个网口直通，爱快直通 2 个，freenas 直通一个。3 块 4t 。
最近想尝试一下 pve ，在独服上整了半天也没整明白。

[shinko]

你是准备所有能讨论的网站都发一遍吗

[dethan]

啥硬件配置呢

[loy23]

@shinko 哈哈，被发现了。

[loy23]

@dethan 之前老电脑淘汰下来的 I5-6500 ，买个点硬盘和内存，买了个 nas 机箱

[defunct9]

直接 kvm 最爽。搞什么乱七八糟的

[chenxuhua]

某次突然断电，esxi 给我把 vmdk 整没得了，好几个虚拟机原地消失

[geekvcn]

PVE 自己用吊打 Esxi ，Esxi 能干的 PVE 都能干，Esxi 不能干的 PVE 也能干。PVE 底层基于 debian ，可定制性和可操作性不是 Esxi 能比的。就拿 Lxc 和 Docker 来说，PVE 完全不用虚拟化就能完美支持，内核原生支持 ZFS ，除了 windows 需要开 kvm 虚拟机，其他情况 lxc 完全够用，LXC 直通显卡和网卡硬盘性能等于虚拟机。Openwrt 直接 rootfs 也不用虚拟机，但是要改点默认内核参数。

小白老实 Esxi ，会操作的 PVE 和 Esxi 不是一个层面的东西，吊打 Esxi 的同时还免费

[ETiV]

家里就一台服务器，满足需求还没有啥痛点，还是别折腾了😂

[loy23]

@geekvcn 就是 pve 的操作性强于 esxi ，前提是会的情况下，对吧。

[touzi]

说一下小白感受吧，半年前第一次接触，然后看了视频教程，选择了 pve ，用起来挺顺利的。

[wtks1]

开箱即用还是 esxi 好，pve 那个光是空间占用就很不直观

[duzhor]

pve 就是 debian+kvm ，开源可扩展兼容性强，可以用 LXC 容器，导入导出迁移的实现方式也很多，命令和 API 都很丰富。
esxi 是 vmware 家闭源商业项目，硬件兼容差但稳定。

我个人更喜欢 PVE ，也一直用的 PVE ，对我来说也足够稳定，生命在于折腾。

不太建议你这样的 ALL BOOM 方案，估计没老婆孩子，折腾出一点问题，影响刷抖音有够你受的，至少 ikuai+op 要足够稳定剥离出来，保障网络不影响家人，其他的自己随便折腾。

[clf]

esxi 印象里直通显卡有坑？

[qazsewong]

EXSI 比 PVE 更接近原生性能一点，其他的基本上没区别。
父母家 PVE （ J1900 ） ikuai+jike+win10
自己家 EXSI(E3 1256Lv3)。ikuai+jike+win10+debian+openwrt
母鸡基本上不会蹦

[xjx0524]

想请教下 ikuai 作为路由的优势有什么？
目前软路由直接刷的 op ，假如换成虚拟机+ikuai+op 的组合，会有什么体验的提升吗？

[geekvcn]

@xjx0524 不会有提升，营销号带的，恨不得串一堆软路由。营销号经典组合就是 Esxi+爱快+openwrt ，小白都是照抄，所以显得很流行，初期营销号是为了爱快流控，后期小白以为爱快性能更好

[hyq]

esxi 坏了不知道怎么修，pve 好歹是个 linux ，不管出啥问题，都能自己修

[xlsepiphone]

PVE,已经稳定运行两年了，如图，80 多天前家这边突然断电，不然貌似很久没重启过了。

主要用来 Openwrt 和搞一些持续集成，Nas 有白群晖了。


[qW7bo2FbzbC0]

esxi 底层也是 linux 吧，可以登陆进去，windows 虚拟机支持是很大一个点，对我来说，如果两个都免费我会选择 esxi ，pve 也安装过，硬件兼容性对我来说不比 esxi 好哪里去。

[loy23]

@xjx0524 ikuai 主路由我是方便做流控，有些设备我需要控制流量，因为家里来的人比较多，并不想有让那些大人走科学路线，所以我做了 2 级路由。正常连访客线路，就直接走 ikuai 的路由就行。自己就走 op 科学线路，这样即使科学线路出问题，家人也不收影响

[old9]

请教一下各位，在家里做这种虚拟化是买台服务器吗？还是装在普通 PC 上？

[xlsepiphone]

@old9 #21 自己装 ITX 主机。买服务器，你是有单独的房间放吗。。。那玩意儿噪音很大。

[loy23]

@duzhor 之前有台 TP 的 poe 一体路由器，可能性能不够吧。用起来并不怎么舒服。后面还是吧主路由改进了 all in one 里。ikuai 流控确实还可以，功能和性能比硬件路由强。基本没影响过，主要几年前弄了以后也没增加过配置，就一直稳定让他运行了。

[loy23]

@old9 看你自己的需求吧，其实我觉得重点还是有没有地方给你放设备。毕竟硬盘多了以后噪音是个大问题

[nbweb]

前两天才写过一篇小文来说这个事： https://kzpu.com/archives/4824.html

家里两台 nas ，一台四盘位，一台二盘位，都是自己组装的。
四盘位的是 esxi ，两盘位的是 pve
整体感觉，pve 要好过 esxi 。pve 可折腾的范围大，就是操作稍麻烦一点，熟了也一样。esxi 小白比较适合，但 esxi 对硬件支持并不怎么好，特别是消费类的硬件，老是没有驱动。

个人建议上 pve 。

[loy23]

@nbweb 收藏了，谢谢大佬

[salmon5]

我比较喜欢 KVM ，ESXI 不太喜欢，命令比较封闭。

[bitllion]

pve 适合小的团队组集群，超融合集群（去中心化的）组起来比 vm ware 的方便多了，vm ware 的集群是中心化的集群，需要单独部署管理端,集群存储、网络还要单独要钱。。。

[loy23]

@nbweb 看到 65x91J ，笑出了猪叫。和我家环境基本相同。你 pve 那台 nas 放在电视下面给电视做 htpc ，这个性能够么。之前我在索尼贴吧发过帖子。91j 网口是百兆的。我用 kodi 跑 smb 下的 4k 高码率视频会卡。有研究过这个问题么，一直没解决。看过很多解决方案，有说 smb 的问题，有说 kodi 缓存的问题。但是解决不了，我感觉解决方案还是要 htpc 或者盒子。htpc 的话，还是担心噪音问题

[nbweb]

@loy23

1 ，pve 直通核显接锁你，播放 4k 除了 cpu 占用高一点外，是可以硬解的，这个没有问题，亲测。如果码率很大估计够呛。
2 ，我一直用的百兆有线接电视的，基本是没有问题的。我家都是六类线，千兆内网可以跑满的，很少遇到卡的。kodi 安装最新的 19.3 ，19.3 支持杜比视界了。如果是杜比视界的片源，能点亮。
3 ，我这个小主机，主板是笔记本样子的，噪音很小，基本听不到。i5-7200U 好像是 15w 的 tdp 。扔在电视柜角落里看不见。

[locoz]

都不用，我选择直接 ubuntu 跑 k8s ，除软路由以外的所有东西全部容器化，软路由单独一台机做。

@loy23 @xjx0524
另外，不建议使用某 kuai 搞路由，人家公司除了网络产品以外还私下卖代理 IP ，这 IP 哪来的？想想都知道。

[locoz]

@old9 #21
@xlsepiphone #22
服务器本质上也还是一台电脑，只不过硬件选择了更可靠的产品而已，噪音大不大全看用的风扇和机箱是什么样的。如果把主要硬件塞进一个普通的静音全塔机箱里，并且风扇全用猫头鹰之类的静音风扇，那它就是一台安静的电脑。

[loy23]

@nbweb 你方便帮我测一个 4k 高码率么，2 种方式：1 直接 htpc 播放，感觉应该不会卡。2 、放在你 nas 下，通过 smb 共享的形式直接在 sony 系统下方法。

[loy23]

@locoz 风扇还能解决，问题是硬盘，硬盘多了，噪音好像无法解决

[nbweb]

@loy23 可以啊，要下载哪个片子，把链接给我，馒头 /hdtime/ourbits/hdchina/白兔 /备胎，都有账号

[2i2Re2PLMaDnghL]

@hjahgdthab750 ESXi 说是以前用的 Linux ，现在是自研内核。可以登录进去也只能说可能是一个比较完整的类 Unix ，要看 uname / header 或者通过界面性质的手段才知道是不是 Linux 。

说个冷笑话，兼容性问题没遇到就是没遇到，遇到了就是遇到了，没有好坏之说（

[loy23]

@loy23 链接： https://pan.baidu.com/s/1U3qsYY__aZmHSUb2GHfg6g
提取码：ys2y
放网盘了

[locoz]

@loy23 #34 硬盘才多大点声音...不放卧室基本都是会被环境噪音盖住的。

[777777]

裸机+docker 考虑过吗？

[aureole999]

我用 unraid ，服务基本都是用 unraid 的 docker ，虚拟了一个 op 做科学网关，主路由是独立的硬路由。NAS 是独立的白群，但我的白群性能很弱，只做存储用，挂到 unraid 上。

[qW7bo2FbzbC0]

@2i2Re2PLMaDnghL #36 是的，在 PVE 也遇到了兼容性问题

[ericbize]

之前 4 台 r820 做 pve 集群，生产环境。
只能给你说，学习成本有点高，
如果是自己家里玩的话，我觉得 exsi 就好了
pve 真的出问题了，要维护难度还是有点高的
兼容性的话，没什么问题，反正 exsi 的虚拟机迁移到 pve 能拉起来，打个驱动就行

[11ssss]

公司用的 Esxi 7.0.2 有个莫名其妙的问题，断电超过两天，开机后就要等待 3-5 个小时不等的时间才能正常使用，期间表现为 cpu 使用率极低，虚拟机卡在开机流程中。。。（百分百复现）导致现在公司每周日还要自动上电一次

[fovecifer]

都用过
作为家庭使用 PVE 更简单直接一点，尤其是 webUI 特别方便

[VirgilChen97]

自用 UNRAID ，所有服务都 Docker 容器化，虚拟机跑一个 OP 跑一个黑裙。

[msg7086]

@hjahgdthab750 @2i2Re2PLMaDnghL
以前 ESX 是在 Linux 系统里启动自己的内核。
ESXi 就是 ESXi ，不是 Linux ，也不包含 Linux 内核，只有一些移植自 Linux 的驱动。
内核是自研的 VMkernel ，文件系统是 VMFS 。

@loy23
建议无脑 PVE 。
我以前是做 VMware 二次开发的，受够了他家的屎山，自己家用的话绝对不会碰。
一定要用的话，请用兼容硬件列表上的企业级硬件，并且配备 UPS 。
我们以前最头疼的就是客户机房服务器断电以后虚拟机无法启动的问题。

[totoro625]

all in one
黑群晖为底层，里面跑 Openwrt 和 Debian
需要的功能群晖都有，想跑的 docker 都放 Debian

[ferock]

家用，pve

[bitdepth]

你們有用過 qemu 的 usb bus shared ？就知道 ESXi 的價值了

[pcmid]

因为我有一个 ceph ，所以我是直接用 pve 的，可以直接使用 ceph rbd ，esxi 的话只能导出为 iscsi ，比较麻烦

[notgoda]

@nbweb
@nbweb V 友好 请问你两盘位和四盘位小主机的购买地址，方便分享一下吗？一直想买一台自己的小组机。谢谢 🙏
@nbweb

[nuk]

个人感觉 esxi 上的虚拟机性能要比同硬件 kvm 性能要强一点，也不知道是不是错觉。
不想折腾就 esxi ，怕数据丢可以 iscsi 远程存储，我一般个人用的虚拟机放 esxi ，跑服务的虚拟机放 FreeBSD 的 bhyve 里，手动给 vdev 做 snapshot 。

[nbweb]

@notgoda x 宝上买的

两盘位的主板 /内存，两盘位的机箱，竟然下架了
https://detail.tmall.com/item.htm?id=560394300382&spm=a1z09.2.0.0.3b372e8dr9JOmA&_u=7126itad2cd
https://detail.tmall.com/item.htm?id=573942634994&spm=a1z09.2.0.0.3b372e8dr9JOmA&_u=7126itac5aa

四盘位大把的了，随便搞。
再说了，想要两盘位，我可以出。这个两盘位吃灰快一年了，手上还有两个 14T 的西数硬盘，没开封。打包出给你，哈哈哈。。。。。

[germain]

谁单机用 esxi 啊，你们说的这些需求和 esxi 都匹配不上。家用就老老实实 pve ，unraid 这类吧。别用了盗版的 esxi 还要骂一句 esxi 不行。

[nbweb]

@loy23 你这个视频我老早都有，刚才在小主机的虚拟机里播放了一下，完美流畅，cpu 占 30%，直通的核显占 41%左右，说明硬解有参与。
又用 kodi 播放了一下，也是完美流畅，看了一下进度条，缓冲始终在播放条前面，一点卡顿也没有。

[notgoda]

@nbweb
@nbweb 谢谢 V 友！请问你这个两盘位内存可以升级到多大？ 请问打算多少出呢？有意
@nbweb
@nbweb

[notgoda]

@nbweb 请问你四盘位的小机是不是也有 4 个内存插槽？

[EPr2hh6LADQWqRVH]

我家里大大小小四台主机是一个 pve 集群，从 5.2 一路升上来的，nv amd 显卡都有直通，用着没啥大问题。
唯一出过幺蛾子的是因为 smbd 的 bug 把磁盘 inode 占满了。

之前 esxi 也搞过，易用性很强，在一般企业环境下很省心，家用没 san 阵列啥的东西的话根体验不到这些好处。

[germain]

不好意思耽误大家时间了。

其实这是我写的 ai 小说机器人，抓的英文文章翻译成中文有点不顺，我会优化一下继续测试，若有不便之处，望海涵。

[germain]

@germain 串 tab 了 请忽略 lol

[nbweb]

@notgoda 两盘位的主板只能插两条内存，现在是 16g 。四盘位的是 Z390 主板，四个内存插槽。至于价钱，我算了再告诉你。

[0ZXYDDu796nVCFxq]

家用无脑 PVE
我在生产环境使用 ESXi 有 5 年，家里使用 PVE 也有四五年
家用还是直接 PVE 最好
LXC 真是太好用了

[mritd]

不论什么情况下，如果可以 esxi 我绝对会选 esxi ，pve 生产环境某台虚拟机把宿主机跑死的教训历历在目。后来想明白了，某些东西卖那么贵还能那么持久，绝对是有点东西的。

[wtser]

我用 unraid
虚拟机跑 ikuai op 黑裙
docker 跑一些其他的服务

[notgoda]

@nbweb 好的。请问下两盘位的这个主板支持扩展内存到多大？ 只能 16G ？
@nbweb

[dangyuluo]

我反正是从 ESXi 换成了 PVE ，感觉是个正确的决定

[pcbl]

hyperv 简单好用

[roswellian]

家用的话基本上用不上 ESXi 的高级功能，所以 PVE 即可。企业的话必然 ESXi.

[zhouzm]

力挺 PVE ，除了硬件支持好之外，pve 有个更大的优势就是社区支持，许多特殊的需求都会被讨论并实现，我举 2 个自己的例子，都是通过爬社区实现的：
1. 在主机上全屏浸润式操作 windows vm
需求：kvm 的 windows 虚拟机，可能开机也可能关机状态，现在希望在主机的 GNOME 桌面下，方便的操作 windows 。
最终实现效果：双击桌面图标，如果 vm 关机状态会自动启动，virt-viewer 使用 spice 自动连接 windows 并全屏
2. vm 开关机 hook script
pve 有 hookscript 功能，支持 pre-start, post-start, pre-stop, post-stop 4 个事件，可以编写扩展脚本实现 vm 对外部资源的依赖管理，例如有个 vm 需要挂载一台休眠状态的网络设备，那么可以在 pre-start 事件里发送 wake on lan 信号唤醒该设备

[nbweb]

@notgoda 最大支持 32G 内存，我现在是 16G 。

[CloudMx]

两年多，PVE 挺稳的，ECC UDIMM 内存，里面跑了 FressNas 。
整个 ALL IN ONE 机器。

[lutasa43210]

公司生产环境 pxe 集群稳定高效

[Er1c0]

@shinko 问下，楼主还发哪了，我没搜到

[cwcc]

我就不一样了，我用的是 Win10 LTSC😂，然后开了三个虚拟机，两个 Linux ，一个 Windows ，平时待机占用基本在 4%上面，关掉虚拟机就 1%占用了，而且宿主机还能玩个游戏啥的。

[grunt]

一直 all in one ，三网接入，debian 做宿主机，软路由 openwrt 跑在 kvm 里，其它应用开 N 个 lxc 解决。
稳定使用 4 年多，近期准备升万兆

[fhbyljj]

PVE 更适合家用，因为驱动支持好

[adoal]

其实这两个不太适合直接对标。esxi 只是 vsphere 体系里的 hypervisor ，按定位跟它对标的应该是 kvm+qemu ，不过呢 esxi 里又有基础的 web 管理端，所以跟 kvm+qemu 对标也不合适。而 pve 的管理功能跟 esxi 又不是一个重量级，应该对标的是装了 vcenter 的 vsphere 环境。

[loy23]

@nbweb 那难道是我安装的 kodi 问题，播放的时候总会卡顿

[cwbsw]

pve 还复杂？不就是 debian+qemu+kvm+lxc 吗，自由度无敌。

[kgdb00]

@geekvcn lxc 也能直通显卡吗？那是不是也可以直通 usb ，然后当作做桌面机来用？希望老哥给发个教程

[geekvcn]

@kgdb00 LXC 可以直通任何设备，网卡，USB ，硬盘，显卡，键鼠。装个桌面环境就能当 Linux 主机

[geekvcn]

@kgdb00 标准 LXC 直接谷歌就行了，PVE 内置 LXC 配置文件稍微有点区别，给你举几个例子，你举一反三就行了。我现在就是直接 LXC 跑 openwrt 旁路由，直通网卡，调下物理机内核参数，性能不是虚拟机能比的。所以我说 Esxi 就是傻瓜式玩具还收费，和 PVE 完全不是一个层面的东西，Linux 水平扎实 PVE 就是完美的存在，等于自带管理 GUI 配置好虚拟化环境的 Debian 。

限制使用核心数+指定内核：
cores: 4
cpulimit: 4
lxc.cgroup.cpuset.cpus: 0,1,2,3 （指定使用处理器 0 ，1 ，2 ，3 内核）

直通硬盘：
mp0: /物理机目录 0,mp=/容器机目录 0,backup=0,replicate=0
mp1: /物理机目录 1,mp=/容器机目录 1,backup=0,replicate=0
mp2: /物理机目录 2,mp=/容器机目录 2,backup=0,replicate=0 （直接挂载硬盘 /dev 路径也行）

直通网卡：
lxc.net.0.link: enp1s0f1 （物理机网卡名 1 ）
lxc.net.0.type: phys
lxc.net.1.link: enp1s0f2 （物理机网卡名 2 ）
lxc.net.1.type: phys

直通显卡：
lxc.cgroup.devices.allow: c 226:0 rwm
lxc.cgroup.devices.allow: c 226:128 rwm
lxc.cgroup.devices.allow: c 4:7 rwm
lxc.cgroup.devices.allow: c 29:0 rwm
lxc.mount.entry: /dev/dri/card0 dev/dri/card0 none bind,optional,create=file
lxc.mount.entry: /dev/dri/renderD128 dev/dri/renderD128 none bind,optional,create=file
lxc.mount.entry: /dev/tty7 dev/tty7 none bind,optional,create=file
lxc.mount.entry: /dev/fb0 dev/fb0 none bind,optional,create=file

直通键鼠：
lxc.cgroup.devices.allow = c 13:* rwm
lxc.mount.entry: /dev/input dev/input none bind,optional,create=dir

直通声卡：
lxc.cgroup.devices.allow = c 116:* rwm
lxc.mount.entry: /dev/snd dev/snd none bind,optional,create=dir

直通之后 LXC 容器内需要安装对应依赖包，比如显卡声卡等

[geekvcn]

我这里反正建议大家抛弃收费的 Esxi ，用开源免费还优秀的 PVE ，商用场景可以订阅支持下。在没有替代并且经济拮据的情况下用盗版可以理解，有免费替代还用盗版真的只能用恶心形容了。

[Blacate]

@geekvcn 有免费的许可证吧 不过有些功能没法用

[Tink]

我两个都有，我反正是用不出来区别，也没碰到说硬件不兼容或者直通有问题的

[tril]

@geekvcn VMware vSphere Hypervisor ，ESXi 有免费许可证。反倒是 PVE 在没有购买支持的情况下每次登录控制台都会弹窗提醒你 :(

[TheSixWings]

只发现一个 vSphere 比 PVE 强的地方
人家支持 Live Failover ，而 PVE 只有 Live Migration
家用肯定是不需要这些功能了，免费的 ESXi 也没有集群功能
另外普通人用 Windows + HyperV 才是最简单的吧

[Rorysky]

@hjahgdthab750 esxi 底层是 vmware 专有的内核 不是 linux kernel

[410054336]

为什么要用 ESXI ？就是那帮卖多网卡硬件的 UP 主推动而已。PVE 在单网口的主板上，利用多个 USB 网口配置为端口聚合，利用二层交换机，一样跑得好好的。

[najunuoyan]

@qazsewong J1900 能跑这些吗？感觉很吃力啊

[sunnysab]

@CloudMx 我也有块 2700, 开始是做 NAS 的，但是因为这块 U 没有核显，加上亮机卡和两块机械盘后整机功耗 80w, 感觉有点高，把它放台式机了。。

[CloudMx]

@sunnysab 哈，我就算跑 ALL IN ONE ，暂时没管啥功耗，扩展出 NAS 只是其中功能之一，看看后面我也要不要换个带核显的 U ，那样 PCIE 可以扩展万兆，然后多点网口，再虚拟一个 OPENWET 出来，把自己现在的 R2S 给解放出来。

[justaname]

@geekvcn 有啥好恶心的，非商用人家公司都懒得管，这要恶心那几亿用盗版 Office 的中国人都恶心，毕竟有免费 WPS 哩

[dasf53adf]

@qazsewong J1900 都能跑起 WIN10 + IKUAI + JIKE 三个虚拟机？ 这么强么？

[wwwohio]

@dasf53adf jike 是什么？

[hanssx]

@mritd 卄，我开始遇到了”pve 生产环境某台虚拟机把宿主机跑死的教训历历在目“