mayooot

@mayooot 我的回答是直接截取的一个 Service 下面 3 个 Pod 的 iptables 规则，可能和楼主说的对应不上。看个意思就行吧

假如你的 kube-proxy 模块用的 iptables 模式，然后我尝试回答一下你的疑问。
假设现在一个 Service 下面有 2 个 Pod ，iptables 规则如下：
~~~
-A KUBE-SERVICES -d 10.111.4.1/32 -p tcp -m comment --comment "default/hostnames: cluster IP" -m tcp --dport 80 -j KUBE-SVC-NWV5X2332I4OT4T3
~~~

负载均衡规则和 DNAT 规则如下：
~~~
-A KUBE-SVC-NWV5X2332I4OT4T3 -m comment --comment "default/hostnames:" -m statistic --mode random --probability 0.33332999982 -j KUBE-SEP-WNBA2IHDGP2BOBGZ
-A KUBE-SVC-NWV5X2332I4OT4T3 -m comment --comment "default/hostnames:" -m statistic --mode random --probability 0.50000000000 -j KUBE-SEP-X3P2623AGDH6CDF3


-A KUBE-SEP-WNBA2IHDGP2BOBGZ -p tcp -m comment --comment "default/hostnames:" -m tcp -j DNAT --to-destination 10.244.1.7:9376
-A KUBE-SEP-X3P2623AGDH6CDF3 -p tcp -m comment --comment "default/hostnames:" -m tcp -j DNAT --to-destination 10.244.2.3:9376
~~~

同问，楼主去这个公司了吗

我使用 ipad mini 的情况：早上/晚上洗漱时，用 ipad 咪咪 看会哔哩哔哩或者听歌，吃饭的时候看剧。偶尔看看极客时间，还有 Github 。偶尔用 apple pencil 写写画画。

@xiaozhang1997 谢谢哥们理解，我也没想到有人认为我在炫富，我就一个底层小牛马，给公司跑跑模型。
在 Github 上这个项目还是能帮到一些人的（虽然老外比较多），这样就足够了，😊

@firefox12 GitHub 上已经有封装好的 web 页面，看一下这个帖子，快速启动里的-grok 本地部署那篇文章，里面有讲的。
不需要联网。

@firefox12 你可以理解为一个对话模型和 chatgpt 差不多，你问一个问题它回答你。比如默认是在黑框框（命令行模式）里问问题/回答，如果它有 API ，就能写个 WEB 页面，然后你再浏览器上就能和它对话了，这时候就和 chatgpt 更像了。

不过它和数据库不一样的是，需要的资源要比我们的电脑大的多，就得需要专业的服务器来跑模型了。但是把模型下载到服务器上，然后跑起来，它肯定要依赖环境的，而服务器大部分情况下之前就已经被用过了，比如说 Python 版本是 3 .8 ，但是不凑巧的是这个模型还需要 3.10 ，所以选择用 Docker 容器来打包它的运行时环境（里面有 Python 3.10 ）。

不知道这样解释能否明白一点。

@kneo 模型跑起来之后需要改改 py 代码，才能和 chatgpt 那样连续对话。关于效果，我只能说比较适合企业套皮...

@julyclyde 意义就在如果你想跑起来这个模型不需要处理复杂的环境了，关于报错信息，你自己把模型 download 下来跑跑不就知道了吗，难道你用的每个 docker 容器，作者都会告诉你他做了什么？