自建低成本集群（k8s, Spark）的方式有哪些？

[suuuch]

最近想更新一些自己的一些软件，想自己搭建一下 k8s 集群在自己家里，通过 FRP 穿透出去。 发现一般 k8s 推荐配置都是在 4C 8G 左右，按照 3 台来估算的话，成本不算很低。 基本上 2000 预算是比较容易实现，但是我也很想研究下 低于 2000 的有没有比较好的方案。

目前设定的已知约束：

1. 机器放在家里（考虑空间占用、噪音和电费）
2. 配置：3 台 4C 8G 的服务器，主要考虑其实是内存。
3. 预算卡在 2000 以内。越低越好。
4. （可选）后续升级空间

目前考虑过的几个方案，还没仔细去研究：

1. 洋垃圾方案，不考虑显卡的话，CPU 控制在 120W 以内。单台价格 900RMB 左右。三台价格预计：2700
2. i5-8400T + B360M 方案，8 代 CPU 的性能和功耗比较综合，单台价格也是接近 900RMB 。三台价格估计：2700
3. N100 方案，现在买个 N100 准系统大概是 600 以内，加上其它配件，估计不低于 900RMB ，总计也回到 2700RMB
4. 树莓派方案，4b 的话 8g 二手现在 500 元上下。加上其它配件，三台预计：1450~1700 。
5. 国产香橙派方案，3b 8g 的价格是 345 左右。加上其它配件，三台预计：1035~1235 。

简单分析： 上面考虑的其实有 x86 和 ARM 方案，x86 方案的话，更接近实际环境，ARM 的话，更像是自己玩的环境。 方案 123 里面，可以通过虚拟化的方式，将一台机器虚拟成 2 台机器，成本可以下降一下。 然后就是 ARM 方案后续升级空间其实有限。

现在想集思广益一下，还有木有其它的方案可以考虑？

[Dotennin]

2500 入的 nuc 7735hs 32G4800hz 1TB 的 NUC.
组 truenas 自带 k8s. 目前除了硬盘不够用得用雷电扩展外,其余都很满意.

[chinesestudio]

我有五台 E5 2630l 双路服务器
之前内网穿透 组建的 pve 集群。然后 rancher 等集群都行
单台服务器功耗 100w 左右，50 分贝。不放卧室就没问题。
民用电一个月 200 左右。
如果有兴趣，可以打包出。
机柜已经出了，就剩下服务器了。

[pigeon2049]

三台天钡 n100 32G+1T 组 proxmox 集群 成本 5002(三台加一起)
加 6 块 10T HGST 拆机硬盘 成本 2818 (可选)
总成本 7820
其中 proxmox 三台组集群 并且组 ceph 6 OSD
三台都是双网口,三台各一个网口接光猫一个网口接 2.5g 交换机
这样 ikuai vm 磁盘在 ceph 集群上拨号都能实现不断网故障转移(亲测)
同时由于设置了多副本策略 单硬盘坏了或者单机器坏了完全不影响数据读写

[ddmasato]

这么奢侈的吗。。弄一台 nuc ，升级内存到 32G ，跑 k3s 就可以了

[tomorrow092]

求 v 友 告知，FRP 穿透 出去，不会被查吗？怎么规避？

[yuyu01]

amd 的迷你主机啊，我目前用的 5700G ，整机待机功耗 10w 左右。
配合 qemu-system-x86_64 ，虚拟机随便开啊

[yuyu01]

@yuyu01 一个月大概 12 度电

[suuuch]

@chinesestudio 服务器噪音太大了，还是考虑迷你主机吧。

[photon006]

小主机推荐极摩客 M5 ，准系统￥ 1099 ，看测评： https://post.smzdm.com/p/a0xkkv4z/

cpu amd 4700u ，8C16T 跑虚拟化足够了，去买云服务器也是别人多核硬件虚拟的子系统，还不如自己 pve 虚拟，vm 整机磁盘备份也方便，管控更彻底。

[locoz]

我的建议是低配设备不如不搞，要用的时候完全不顶用，日常状态随便跑点常驻服务就把资源吃完了。洋垃圾是个比较合适的选择，现在机房淘汰的 dell 、华为二手服务器很多，准系统基本可以说是白菜价了。单机跑虚拟化再分多个虚拟机跑多节点的集群除了学习用途以外毫无意义，多节点要搞就是为了可靠性，没必要为了多节点而多节点。

[groovyquan]

我上周末刚搭建了一个 k8s 集群，用的 零刻 EQ12 准系统小主机（ 722 块买的，硬盘和内存不算，我原来笔记本拆下来的，如果要买带内存和硬盘的也不超过 1500 ）， 安装 Debian 12 ，用 kvm 搭建虚拟了三台虚拟机，在三台虚拟机上安装了 k8s 集群，性能还绰绰有余，小主机声音还很小

[surfwave]

好好想想有什么需求是必须上 k8s 才能解决的？需求不足还是别搞 k8s ，否则是给自己找事。当然你工作是搞这行的，那么在家弄弄 k8 也还是可以。

[johnzr]

@morningtzh 写的真好，老配置和现在差别很大的话能不能更新一下文章呢？期待！

[kursk]

我现在正在用香橙派搭 K8S 带外部 etcd 集群，技术验证完全可行
3 个 OrangePi 3B 作为 etcd 集群
2 个 OrangePi 3 安装 keepalived+haproxy 作为负载均衡
3 个 OrangePi 3B 作为 control plane
再加 3 个 OrangePi 3B 作为 worker node ，或者用台式机上的虚拟机

这样就是一个功能完整的、具备独立 etcd 机器、独立负载均衡、非常廉价的 K8S 集群，而且没有风扇和噪音，适合放在家里。而且 control plane 完全独立，有多余的机器作为 worker node 加入，非常方便。

orangePi 3B 便宜的只要 200 左右，不用买带 eMMC 的，使用 64GB tf 卡，京东的 V3 速率只要 20 多元，没有比这个性价比更低的方案了

[xuanbg]

除非你想玩一下 k8s ，否则根本不需要搞什么 k8s 。我一个虚拟机上裸跑 docker ，几十个服务也占不了多少资源。管理也超级方便，毕竟才几十个服务而已。

[jlwrp]

@knightgao2 风扇有推荐吗？

[Cola98]

建议 all in one 在物理机上，然后虚拟化出来几台机器，这样配置上也够用。性价比会更高，我目前个人 K8S 集群是这样的，配置大概如下：
master 是 16G 8C 300G Node1-2 是 32G 8C 200G ，宿主机配置是 DDR4 64G amd 8 核 16 线程 磁盘有两个，一个 SSD 2T ，一个 HDD 2T 。

[ijk0]

@mengdodo 入了铭凡 580d 感觉散热还挺好

[locoz]

看到楼主的附言，补充一下： 是否是多节点组的集群跟是使用 K8S 还是 K3S 毫无关系，都能单节点运行。一般来说，配置足够的情况下建议还是跑 K8S ，用 kubeadm 部署，相对于 K3S 而言在一些特殊情况下能避免踩坑。

[morningtzh]

@johnzr
主要是 ingress 部分，目前已经使用公网域名作为 ingress 入口了。如果后面有需要，可以直接开放到外网，并加上 sso 登录
https://www.yuque.com/morningtzh/blog/eastki6i9uebhfbk