想搭建一台 homelab server 跑 ESXi，有一些疑问

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› DigitalOcean

这是一个创建于 2887 天前的主题，其中的信息可能已经有所发展或是发生改变。

最近内心长草 all in one ，想把路由， nas ，各种 server 全部虚拟化。因为本人硬件小白，又没玩过 ESXi ，有两个问题，不知道各位大神能否解答, 先谢谢各位了:

一, 我看中了 ASRock Rack E3C236D4M-4L 这款板子，板载 4*Lan 和 8*sata3, 这样我可否省掉网卡和 raid 卡，然后用板载接口实现安装 Zfs 和 OpenWrt ？(8sata 目前足够我使用， 4 个 lan 正好让我接入双 Isp+交换机和 AP)

二, 因为家中 Android 盒子 xbox 等设备众多，所以不准备做 HTPC ，就不想上独立显卡了。但是还是希望能跑跑 windows server 什么的，这样我可以正常进入图形化界面么？还是需要上带核显的 cpu(比如 E3 1235l V5)?

51 条回复 • 2017-03-30 15:41:19 +08:00

Showfom

2017-01-24 15:37:16 +08:00 via iPhone

第一个不知道第二个显然没问题

mhycy

2017-01-24 15:37:25 +08:00

ESXI 不支持核显（如果有成功案例求教程）
E3C236D4M-4L 板子略显奇葩，但没问题
ZFS 请备好足量的内存
需要图形界面请自备 A 卡，并做好折腾的准备

最后提示： All in one 对于喜欢折腾的人来说不是一个好选择

Showfom

2017-01-24 15:38:02 +08:00 via iPhone

自己家用软 raid 就行了

mhycy

2017-01-24 15:43:27 +08:00

@Showfom
最近上了硬卡，发现有件事比软阵列好太多：方便（不用敲命令了）
所以看上去家用上硬卡也没啥问题

Showfom

2017-01-24 15:45:29 +08:00 via iPhone

@mhycy 是没啥问题就是家用没必要花那个钱不过我推荐 ups 得有服务器最怕断电了

mhycy

2017-01-24 15:50:07 +08:00

@Showfom
最近上了个不知道啥货源的 LSI 9286CV-8eCC ，算上线材 1300 。
价格感觉相比 ZFS 所需的多出来的的内存、处理器需求，还算可以接受。
除了没 ZFS 的块级校验特性，其他还好，能动态扩容这点很不错。

另： UPS 求推荐，寻找许久，在线式 UPS 似乎没有相对廉价的选择。

Showfom

2017-01-24 15:54:19 +08:00 via iPhone

@mhycy 不带 bbu 吧到了价格就会贵点不过家用的话也是可以了

zfs 主要太激进我们也内部用用不然遇到什么 bug 都不知道

ups 我也没啥推荐的可以问问 lty

mhycy

2017-01-24 16:18:50 +08:00

@Showfom
带 BBU （当然也有电池）， CV 后缀是那个超级电容做后备的技术缩写
掉电以后以来电容的电量把缓存的数据写入闪存持久存储
价格是挺划算的，就是不知道是啥货源，看成色不像是拆机品

ZFS 貌似 SUN 当年是有单柜 PB 级的存储设备在卖了，不知道和现在开源的那个 ZFS 是不是一回事。

UPS 如果买在线式其实还有个问题是效率。。毕竟两头 90%效率最终只剩下 81%了。。。。
后背式在老化以后切换时间会变长，电源扛不住就停机了，就怕这事。

CupTools

2017-01-24 17:03:01 +08:00 via Android

@Showfom 🌚 ZFS 不知道多稳定我那阵列跑了两年了一年 uptime 完全没问题 100 多台 VM 每天轰炸

CupTools

2017-01-24 17:04:16 +08:00 via Android

U-NAS NSC 800 + Xeon-D 版是我的标配

Showfom

2017-01-24 18:15:12 +08:00 via iPhone

@CupTools 家里放的话散热和隔音怎么解决

xspoco

2017-01-24 18:23:41 +08:00

我觉得 LZ 可以考虑下小马 V5

xspoco

2017-01-24 18:24:50 +08:00

https://item.taobao.com/item.htm?id=543308020602

这个是链接

yongw520

2017-01-24 18:59:34 +08:00

@Showfom 感谢回复，那就是说不需要带核显的 u 了？

yongw520

2017-01-24 19:03:42 +08:00

@mhycy 非常感谢！ E3C236D4M-4L 是奇葩了点， amazon 没有人评论, 也 google 不到什么信息，但是性价比和需求恰好满足，所以比较担心。。另外为什么说 all in one 对于喜欢折腾的人来说不是一个好选择呢？我理解不正好适合折腾么哈哈

yongw520

2017-01-24 19:06:08 +08:00

@CupTools 我需求完全家用，所以尽量省电点儿和空间:)

yongw520

2017-01-24 19:07:18 +08:00

@xspoco 感谢推荐，不过这台性能对我来说貌似有点儿捉急，倒也是个免折腾的路子

yongw520

2017-01-24 19:13:12 +08:00

@mhycy 另外就是说核显的问题基本就不用纠结，果断选择无核显的 u 就可以了对吗？如果有需求就有去折腾独显了。。

xenme

2017-01-24 19:39:23 +08:00 via iPhone

1. 基本显示无所谓都是模拟的，如果需要显卡穿透，投资有点大，还不如直接台式机
2. 阵列卡一般没啥必要，换块 ssd 跑系统，剩下当数据盘就好，数据安全性要求高，备份或者上个垃圾兼容的阵列卡就行。

yongw520

2017-01-24 20:10:07 +08:00

@xenme 非常感谢回复
担心就是很多 os 都至少有 gpu 才能启动，不知道玩 ESXi 没有任何显卡会不会有什么问题？
我也是不想上阵列卡，预算有限哈哈

aru

2017-01-24 20:25:30 +08:00

这块主板板载独立显卡的，虽然这个显卡比核显性能还差太多。不过用来装系统，查看日志什么还是足够了
1 和 2 都没问题

xenme

2017-01-24 20:32:30 +08:00 via iPhone

@yongw520 目前自用垃圾 c6100 ， 200 块的垃圾 CPU ，无核显，无独显。跑 windows ， centos ， solaris ， ubuntu 图形界面都没问题，直接 console 放放一般视频都没啥问题，模拟显卡足以

openwrt 专门去广告用。 nas 有单独的没虚拟，不过无非就是磁盘和网络 IO 而已， CPU 家用几乎没啥压力。
内存够大就行。

你这配置比我好上天了。

mhycy

2017-01-25 00:47:44 +08:00

@yongw520
CPU 不带核显即可
服务器主板自带的显卡也就仅仅够让你用来看个日志，那玩意大多是 ATI 的 32M 闪存走 PCI 总线的亮机卡
另外楼上有人提到了小马的 V5 ，其实还有一个选择是带外壳的 3215U ，性能不咋地，但是做软路由很合适。
（小马的 CPU 是 ES ，务必注意）

我说 ESXI 不适合折腾也和软路由有关，因为折腾的过程中必然会频繁的重装系统 /修改配置。
如果是 ESXI+显卡直通的结构，配置会增加不少复杂度，略显麻烦与复杂
倒不如设备分区那么在折腾的时候不会导致全屋网络中断

我现在比较倾向于一个高可用的结构 EdgeRouter X + 3215U （需要地址我去淘宝找 699 标价）组合成双路由
（路由架构： ERX 提供 NAT ， 3215u 配置 ESXI ，上层虚拟机使用 VyOS 做软路由，两个路由使用 VRRP 保持可用）
（ ERX 提供多线 NAT ，毕竟支持硬件 offload ， VyOS 提供基于 IP 的策略路由与负载均衡）
这时候，如果需要额外的虚拟化可以在 PC 平台上完成(毕竟新平台都有 VT-D ，而且内存便宜不少)
NAS 需求看情况直接使用阵列卡 /独立组建存储柜，避开性能瓶颈并提高可靠性（耗电应该差不多）

另：如果能接受老平台，淘宝有个 1150 平台的万兆神板可供考虑

CupTools

2017-01-25 04:16:14 +08:00

1 x http://www.u-nas.com/xcart/product.php?productid=17617

1 x http://www.superbiiz.com/detail.php?name=MB-X10D6C

2 x https://www.superbiiz.com/detail.php?name=D42116G4S

1 x https://www.newegg.com/Product/Product.aspx?Item=9SIA67S46V3429

1 x https://www.newegg.com/Product/Product.aspx?Item=N82E16817338059

Then 8 x HDD of your choice.

This configuration should last for a least 4 years. If you want to future-proof it even further, get a Xeon-D 154x board and 64 GB of RAM.

CupTools

2017-01-25 04:16:40 +08:00

s/a least/at least/g

gamexg

2017-01-25 09:04:08 +08:00 via Android

1 、没问题，我这里是 u 盘安装 esxi ， esxi 上面运行 freenas ，磁盘控制器直通 freenas 。然后双网卡做的汇聚，配合 vlan 交换机通过 vlan 划分的网络。

2 、如果 windows 是远程访问无所谓，我这里虚拟显卡播放视频没问题。如果需要 esxi 接显示器，那么建议上个独立显卡做直通，集成显卡可能不能直通。

prondtoo

2017-01-25 09:38:45 +08:00

要想阵列必须上阵列卡。现在所有板载的半软阵列卡完全不能认。显卡直通只能用 A 卡， N 卡除非你硬改电路成专业卡，否则不认。
除非买 UNraid ，不装 esxi 可解决以上问题，不贵。

mandymak

2017-01-25 10:16:57 +08:00

@yongw520 esxi 不支持 ZFS 。

mhycy

2017-01-25 10:35:08 +08:00

@mandymak
估计他想折腾的是 ESXI+磁盘直通跑 ZFS

gamexg

2017-01-25 12:49:57 +08:00 via Android

@gamexg 另外 esxi6.5 不支持 u 盘放虚拟机了，需要用 6.0 。
除了 freenas 其他的全部通过 nfs 放到 freenas 虚拟机。

Showfom

2017-01-25 15:10:11 +08:00 via iPhone

@yongw520 不需要 rdp 直接远程管理

yongw520

2017-01-26 14:51:26 +08:00 via iPhone

@aru 🙏那就妥妥省下显卡钱了

yongw520

2017-01-26 14:52:25 +08:00 via iPhone

@xenme 那就放心把这部分预算省下了谢谢回复～

yongw520

2017-01-26 14:53:38 +08:00 via iPhone

@xenme 我也在考虑是否配置过剩了，考虑下减减配

yongw520

2017-01-26 14:54:39 +08:00 via iPhone

@mhycy 非常感谢仔细的回复！这么多选择我需要消化一下。。

yongw520

2017-01-26 14:57:42 +08:00 via iPhone

@gamexg 那网络问题就放心了，那如果我不用 u 盘，上 ssd 放系统没问题吧应该？

yongw520

2017-01-26 15:02:46 +08:00 via iPhone

@prondtoo @mhycy @mandymak
感谢各位回复。是的，我是想 ESXi 直通跑 ZFS 。板载 sata 无法实现直通吗？那就必须上阵列卡了。。预算啊

yongw520

2017-01-26 15:03:33 +08:00 via iPhone

@CupTools 感谢回复，慢慢筛选这几个板子

gamexg

2017-01-26 15:12:01 +08:00

@yongw520 我就没上阵列卡，但是缺陷是只能用 esxi6.0 的版本， freenas 安装在 u 盘，把板载 sata 控制器直通给了 freenas 。
ssd 需要 sata 控制器，如果 sata 控制器直通给了 freenas ， esxi 就无法访问 ssd 了，直接挂。解决办法就是上阵列卡再提供一个 sata 控制器，两个控制器一个给 esxi 一个给 freenas 。

kennylam777

2017-01-26 23:50:04 +08:00

家中有 ESXi 的握個爪。

ESXi 內打算作 NAS 的話, 我是比較建議 HBA 卡的, 因為可以用 VT-d 丟進 VM Guest 內, 讓 VM Guest 可以直接看到每個 HDD 的狀態, 也不用每次換 HDD 就非得要改 RAW Disk Mapping, 我想你的 ZFS 不是跑在 VMFS 的 Virtual Disk image 吧?

我是用 OpenMediaVault + mdadm (軟 RAID) + HBA 卡的配罝。

VM 軟路由我直接用 pfSense 的, VMXNet3 在 FreeBSD 還好, 就是沒有 VirtIO 在 Linux 快, 但 4Gbps 吞吐量夠用了。而且 ESXi 帶 VLAN Trunk support, VM 做的 VLAN 直接穿出實體網絡。

另外還有一堆 Linux VM 及一個 Windows Server, 但沒有把顯示卡穿透進去, 我的板子也只有 BMC VGA 。

kennylam777

2017-01-27 00:05:13 +08:00

秀一下配置.... CPU 及 RAM 都是超便宜, RAID/HBA 卡都是二手款色......
CPU: Xeon E5 2650 *2
MB: Intel S2600CP4
RAM: 8GB RDIMM x4
機箱: 4U 650
硬 RAID: LSI 8704EM2, 帶 128GB SSD RAID1, 主要開機 ESXi+VMFS 區
HBA 卡: Dell PERC 300 (LSI 9240-8i HBA)., 帶 3TB HDD 陣, 直通 NAS
板載 SATA: 接 SSD 及 HDD, 次要 VMFS 區

yongw520

2017-01-29 19:38:51 +08:00 via iPhone

@gamexg 明白了，找到一块多了 m.2 走 pci 的板子，这样问题是不是就解决了？

yongw520

2017-01-29 19:42:57 +08:00 via iPhone

@kennylam777 pfSense 没玩过，双 ISP 加$$能否满足需求？另你的配置不知功耗和噪音如何？

frostfall

2017-01-30 12:55:07 +08:00

这款主板的网卡比较新，安装 ESXI 可能需要额外的网卡驱动，或者最新的 ESXI6.5 应该原生带驱动，虚拟机的桌面环境不需要显卡，我的机器也是板载 ASPEED 显卡，放心用没有问题，不过如果玩游戏的话推荐 A 卡直通
组 raid 可以软 raid 或者上 raid 卡，看你需求
zfs 吃内存，所以内存要大些
综上，两个问题都没有问题只不过网络配置这块要多考虑一下

yongw520

2017-01-30 16:12:24 +08:00

@frostfall 感谢回复！明白，网络这部分确实脑中概念比较模糊，再探索探索。
又找到一款超微的 X11SSH-LN4F 好像更适合我， matx 版型，价格还便宜一点，没意外就上它了~

thank243

2017-01-31 09:14:00 +08:00 via iPhone

选个低功耗的 cpu ，可以省很多电费。 N3700 应该就够了

frostfall

2017-01-31 22:14:02 +08:00

@frostfall 另外提醒一下最好买个阵列卡或者 HBA 卡用来直通，网上说的 ESXI 硬盘直通其实是 RDS 映射，虚拟机不能查看 s.m.a.r.t 信息，要坏了也不知道

netfee

2017-02-01 19:12:51 +08:00 via Android

楼主祝你成功，不过更多的可能是，到后来，你会发现 all in one 并不是想象中的那么美好。比如，显卡直通需要 nvidia 专业级支持虚拟化的显卡才能成功。 A 卡相对好一些，可能低端显卡都可以成功，但是很多专业软件是禁止在虚拟机中运行或者需要专门购买授权。出现故障排除时也是一个头疼的事。

kennylam777

2017-02-01 21:52:10 +08:00

@yongw520 都是擱在獨立的一角, 但其實還好, 4U 機箱能用 12cm 慢速(1500rpm 下)的靜音扇, 已經有不錯的效果

q15993050176

2017-02-17 12:15:13 +08:00 via iPhone

谁自己搭建的服务器，我想有偿合用，原来用的阿里云，阿里云活动也快到期了，所家里没有公网 IP ，架设不了。可以联系我， qq935001679

siyiye

2017-03-30 15:41:19 +08:00

《 ESXI 也能很好玩---分配过剩机能，实现家庭虚拟化》
http://bbs.vmsky.com/forum.php?mod=viewthread&tid=42019