@Ayahuasec 嗯。。看来也可以考虑 AMD 的 cpu 了~~~

@rabbbit 还有这种业务，非常棒，适合我~~~我之前看阿里云啥的都贵的要死。。

你们不会拿笔记本显卡跑 70b,如此大模型吧。。

@lrigi 哈哈。。我知道 llama3 默认是 8b,你们说的 4bit 不懂。。。fp16 也不懂。。还得回炉学习下。。

@rabbbit 我用 llam3:8b 输出的和 lrigi 一样。。应该是正确的吧

如果需要非常精确，那好像只能自己写字典来做这个事情。。

如果是生产就老实的用 gpt 吧。。或者其他大模型也可以。。但是大模型有幻觉，输出的内容很可能第一次和第 2 次的内容不一样。。。这个问题好像没有太好的手段。。

@Ayahuasec amd cpu 不影响跑大模型吗？现在 amd 的 cpu 咋样，还有啥东西会存在兼容问题之类的么？
跑虚拟机或者安装 linux 系统会有影响吗？

我是用 ollama run llama3 "summarize this file $(cat test.txt)" --verbose 这个命令来看速度的

total duration:4m16.4180938s
load duration:524.8u
。。。。。

@rabbbit 我还没遇到这个情况。。只是学了一下提示词、function calling 。然后自己用了下公司的知识库。。随便问回答的感觉还可以，用的 llama3 模型。一般情况下用提示词基本都能解决。。

现在用的是 mac pro2017 笔记本，有点老。。新的 mac 好像跑这些也不太行。。
看了下 4080 、4090 的笔记本都比较贵。。想先看看 4060 、4070 之类的本能不能简单的满足学习的场景

好像除了这个，我对显卡没啥要求。。这样来看去买 4080 、4090 笔记本又感觉有很费钱。。

就是用来学习，就看看返回速度快不快而已。。其他的不重要。。

有线用 G502 ，DPI 设置成 3200 ，感觉还可以
无线用 M509 ，经常掉蓝牙，很不爽。。。然后就用触控板了。。

自己组件一个 nas ，带 raid5 的，弄 3 个 4T 盘，cpu 可以选服务器的 CPU 或者 10 代的测试 CPU 之类的（主要是便宜 ql3x 好像是这个）
弄一下其他的电源、机箱啥的，随便弄弄，也可以找定制的，咸鱼也蛮多的

也非常静音，丢自己家里，办公室都合适。
然后自己弄花生壳之类的，找个免费的，或者自己搭建一个内网穿透的服务器。
如果不需要外网就用免费花生壳应该够了

坐标上海。。小公司老板。。准备年终奖减半。。。业绩不好。。

写代码前先想好怎么测试他，测试都没想好。。写什么代码。。