V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  uncat  ›  全部回复第 3 页 / 共 27 页
回复总数  531
1  2  3  4  5  6  7  8  9  10 ... 27  
公司配了台式机。

平时习惯了自己的开发环境,所以都是 vscode-remote + wireguard 回自己的 Linux 服务器上(一台 PC 主机)。
159 天前
回复了 atfeel 创建的主题 程序员 内网穿透,大家是怎么解决的?
1. 自己使用 natmap
2. 公司提供 wireguard
164 天前
回复了 Wxh16144 创建的主题 Apple 关于我在消费主义陷阱下购买的 Mac mini
小的时候,在我看来,奢侈品是毛皮大衣,是长裙,是海边的别墅。
后来,我又觉得是一种知识分子的生活。
而现在,我觉得是可以对某个男人或者女人抱有一种激情。

---《简单的激情》---

小的时候,在我看来,奢侈品是 MacBook Pro 、Mac Studio 。
后来,我又觉得是富有创造力的舒适生活。
而现在,我觉得是可以对某件事抱有一种激情。
如果你对如何实现一个简洁有效、长期可维护的运维侧的生态感兴趣,可以看看 archlinux devops team 的实践:

https://gitlab.archlinux.org/archlinux/infrastructure
纠正:每个设备一个独立的 VPN 证书 -> 每个设备一个独立的 VPN IP
你们的 GitLab 是公网可达的吧?

分享我们思路:

我们从基建最初便落地了基于 WireGuard 的 VPN 网络,入职时签发配置,离职时注销,每个设备一份不可复用,只影响 172.31.0.0/16 这一个网段(避免路由冲突),加入 VPN 网络的人才能访问公司内部服务。

这里有很多好处,比如:

1. 有效的内部服务隔离。解决人员流动问题,降低内部服务因为人为疏忽暴露的风险(相对于公网可达而言)。
2. 每个设备一个独立的 VPN 证书,解决远程办公的联调问题。
3. VPN 网络还能打通 K8s 集群,满足直连 Pod IP ,Service IP 的需求。

FYI
234 天前
回复了 pdog18 创建的主题 问与答 本地部署 AI 的意义在哪里?涉密?
本地 4 块 3090 。

2 块 3090 部署的 qwen coder 2.5 q8 ,VPN 组网( wireguard )后,作为沉浸式翻译的翻译后端 + openwebui 后端。看论文/文档很爽。
另外 2 块 3090 部署的 qwen coder 2.5 q8 ,VPN 组网( wireguard )后,作为 vscode continue 的后端(体验一般)。

因为 continue 会导致 ollama 模型重新加载,所以就独立部署了 2 个 ollama 服务端(每台主机 2 张卡)。
实际测试见截图: https://blog.jinmiaoluo.com/upload/natmap-benchmark.png

PS:我是基于 NatMap + WireGuard 组网的方案(你的需求组网通过 RDP 内网互联即可解决)。
可以试试这个方案:买两个小米路由器刷 OpenWRT ,跟着 NatMap 的 Wiki 配置一下 NAT 打洞。

我的情况:广州移动宽带用户,没有公网 IP ,通过 NatMap 在运营商 NAT 设备上打洞,成功。

实际效果:延迟 10 ms ,瓶颈是家里移动宽带的上行速度( 6.25 MBytes/Second)。
264 天前
回复了 snowkylin 创建的主题 分享发现 本地部署 DeepSeek-R1 671B 千亿大模型流程
264 天前
回复了 snowkylin 创建的主题 分享发现 本地部署 DeepSeek-R1 671B 千亿大模型流程
1. ollama pull deepseek-r1:671b
2. ollama show --modelfile deepseek-r1:671b | sed -e 's/^FROM.*/FROM deepseek-r1:671b/' > Modelfile
3. echo "PARAMETER num_gpu 0" >> Modelfile
4. ollama create deepseek-r1:671b-custom

第 3 步,将 0 替换为 2 (假设你是 24G 显存的显卡,实际显存除以 9 取整数商)
264 天前
回复了 snowkylin 创建的主题 分享发现 本地部署 DeepSeek-R1 671B 千亿大模型流程
> 是直接 ollama run deepseek-r1:671b 这个就行吗?

先 ollama pull deepseek-r1:671b 拉下来后,保存 modefile 到本地,添加 num_gpu 参数后再重新导入即可。

参考这个: https://github.com/ollama/ollama/issues/6950#issuecomment-2373663650

@vpsvps
264 天前
回复了 snowkylin 创建的主题 分享发现 本地部署 DeepSeek-R1 671B 千亿大模型流程
264 天前
回复了 snowkylin 创建的主题 分享发现 本地部署 DeepSeek-R1 671B 千亿大模型流程
> 我的服务器有 8 块 4090 ,内存 640G ,能跑得动 671b 404GB 这个吗?

可以跑得动,跟你类似的配置,8 * 4090 + 512G 内存。Ollama 671B Q4 ,回答问题,短的 10s ,长的 20 - 30s 的样子。体验较差。

实际显存+内存总共:180 - 200G 。

ollama 现在会因为显存分配策略问题导致无法启动,需要 dump 出 Modefile 后手动添加 parameter num_gpu 为显卡数量 * 2
libvirtd + virsh
1  2  3  4  5  6  7  8  9  10 ... 27  
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   5504 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 47ms · UTC 06:05 · PVG 14:05 · LAX 23:05 · JFK 02:05
♥ Do have faith in what you're doing.