@046569 #17
6/7 、举一个我认为很典型、很能体现模型基本能力的例子：

我前段时间在一个 Ceph 集群的 MDS 完全无法正常工作的情况下，研究 CephFS 存在 metadata 池中的文件元数据。由于 Ceph 是完全自定义的数据结构，从池中导出来的内容中几乎没有明文文本，想要在没有源代码的情况下分析数据内容（懒得找），就得靠找规律切出每条数据后，结合已知的其他外部信息结合分析，这属于典型的黑盒逆向。

而 GPT4 能做到什么程度？

在我通过人工判断快速确定了文件元数据所在的位置后，随手复制一大段 16 进制状态的数据丢进去，告诉它这应该是一个自定义的数据结构，其中可能包含了多个文件的元数据，要求它分析数据结构、找出规律。然后 GPT4 不仅找出了规律，逐个列出了切出来的单条数据，还大致判断出了每条数据中可能包含了哪些信息、字段可能的格式是什么样。并且在我没有要求的情况下，还将其中包含的少数明文文本内容（为 16 进制状态，混在那一大段数据中）也处理成了明文进行描述。

而在我根据规律切出数据，再补充上当时能匹配上的一些文件的元数据信息之后，GPT4 几乎给出了准确的数据结构定义，除了提供的样例数据中没有的情况和一些可能是数据丢失或是其他数据结构的情况导致异常以外，直接基于这份数据结构的定义暴力解析出大致的元数据是完全没问题的。

事实上对 Ceph 的数据结构分析也不仅是 CephFS 的 metadata ，其他的数据我也尝试这么逆向分析过，包括后续的根据分析结果编写处理代码在内，整个流程中 GPT4 都给我省了相当多的事。这个水平，市面上的其他同类模型就没有一个能打的，包括 Claude 、PaLM 这种评测排行仅次 GPT4 的商业模型在内。

@046569 #17
1 、个体现象说明不了什么，我认识的几个专业挖矿的，小量级的也都是至少几十张卡的水平，还有个矿老板级别那种在仓库里摆了几货架挖的，并且也都是新卡老卡都有，就没见哪个说卡坏了的。如果那么容易坏，那他们这个数量级怎么说都得出点坏的，但现实是根本没有。

2 、又要“全新”、又要高配、又要便宜，梦里啥都有，建议去梦里找。

3 、你说的这两种情况都是专用模型就能解决的事情，以往又不是没有做这种事的，哪个非要在通用大模型基础上做的了...而且像律师这种场景，把难以胜诉的官司的特点列举出来，用 Prompt 也能解决，合规问题应该也可以通过脱敏解决，实在不行也可以先用本地小模型提取关键信息再做处理。单纯这种程度的需求，想绕过离线部署有太多方法了。

4 、禁止设立镜像站跟使用服务并没有什么关系，自己内部使用是没问题的，两种情况的性质不同。

5 、“我自己开心 YY 一下存本地不是正好.出个新模型测试一下,本地跑跑也很方便呀.”这叫玩，不是实际需求，不存在可持续性。而且隐私问题前面已经说过了，个人场景下不存在这问题，又不是文件存储需求那种无法避免需要提供完整数据，且只要对数据进行处理就会影响体验的情况。

6 、很简单，直接把 GPT4 能正常输出的、具有复杂逻辑的要求丢给不同的模型，由于内容高度定制化，基本不存在同样的训练数据，可以有效测试出模型最基本的意图理解、逻辑、泛化等能力。

然而事实上现在的开源模型在我测试时，绝大多数情况都无法进入评分的阶段，直接就可以 0 分出局，都是要么胡言乱语、要么无视要求、要么自创要求、要么输出了一堆空话之类的情况。说白了就是只要不简化要求就根本做不到正常输出，而简化了要求又没有必要用 AI 来解决了，所以自然就只存在“可用”和“不可用”两个档次，不存在评分也不需要评分，再怎么评也都是不可用。

少数几个要求由于输入内容和输出要求的规律都比较常规（比如在具有复杂数据内容的情况下，将常规数据结构转成另一种常规数据结构），所以部分模型（如 Guanaco ）在明显针对性训练过的情况下还能输出基本符合期望的结果。但这部分模型如果一上强度（比如处理自定义数据结构的数据），依然是无法正常输出，典型的情况是样例贴脸上了都不会遵循着写，莫名其妙按着自己的格式在输出。

其他城市不清楚，但深圳电信是在 19 、20 年左右改过一次出境线路，并且到现在依然保持。之前发现这事是因为在使用同一个服务器的情况下，深圳电信在南山、福田访问它就会绕路（几十、上百 ms 延迟），而在宝安、龙岗、龙华都还是原本的直连，延迟水平无变化（仅比深圳同城机房高 2-3ms ）。

@046569 #15
1 、显卡这种东西基本就不存在损坏问题，纠结保修除了减少可选项以外毫无意义。我服务器上没改散热的 3090 之前闲着的时候就一直在挖矿，直到 ETH2.0 之后才停，挖矿期间显存长期保持 110 度拉满，比矿场环境还恶劣，然而到现在依然在稳定运行。

2 、拆分模型带来的性能损失也没有用图大显存而用苹果芯片带来的多，NVIDIA GPU 的方案依然是最优解。

3 、苹果芯片目前的能力过弱，显然不会有人正经用，更不会成为主流，怎么可能会有人拿出来做出租的生意...想找到基于苹果设备的测试案例就更是海底捞针了。

4 、大公司的模型再怎么更新，也依然可以通过 Prompt 引导学会特定方法，甚至是遵循复杂的规则。这种事情对于当下的大模型而言都并不是什么问题，在未来随着 Token 上限的提高，就更不会是问题了。

5 、随着模型被喂的数据越来越多，微调的需求只会越来越少。而且现在的 GPT4 都已经能通过 Prompt 引导做到训练数据中大概率没有的事了（正常让它说都完全说不出正确信息的专业领域），除了信息量大且与其他领域没有共通点的情况以外，只要 Token 够用就不需要微调。

6 、担心泄密的只会是企业级场景，信息量大、使用人数多无法面面俱到；个人场景下不存在这个问题，只需要做个内容替换处理就能解决。

7 、实测再怎么精度下降也比开源模型强，完全没法比...换句话来说，如果开源模型有能力做到与商业模型（如当下的 GPT4 ）同等的水平，那做出这个开源模型的厂商为什么不拿去赚钱？用爱发不了电啊。

8 、目前的大模型市场根本就不是私有云（ NAS ）跟公有云的情况，你这个例子是错误的。之所以私有云能始终占有一席之地，本质原因是：在自建的情况下，只要花了足够多的钱就能在自己的一亩三分地上得到足够好的体验，而用公有云要做到同样好的体验需要花费远超自建数倍甚至数十倍、数百倍的成本才能做到。

现在的开源模型在基本的能力上就完全没法跟商业模型比，商业模型已经跨过了“可用”的门槛，开源模型还处于上一阶段的水平，只是部分优化过的样例看起来还行而已，实际一上强度就拉稀。在这种情况下，你花再多的钱也达不到足够好的体验，都没有可比性。

9 、小工作室、个人开发者做产品要追求速度（除非不打算活了），Mac 更不可能作为可选项，无论是买二手卡还是云服务，都比用 Mac 实际。更何况小工作室、个人开发者程度的需求，通过设计 Prompt 就能解决，基于商用模型做的效果和效率只会更好。

10 、在需要砸钱发展的领域，没钱的公司本来就不配参与，被少数公司垄断是非常正常的现象，这就是现实。而少数公司只要想赚钱，最后自然而然地就会普惠大众，自然也就会让每个人变得更强大，不存在悲哀。（基于 OpenAI 的接口出来的各种套皮服务就是很典型的例子）

11 、行业的应用前景跟个人场景毫无关系，而且企业级的场景在大语言模型能力不足的情况下，也只会将其用于合适的简单应用，或者使用其他专用模型代替。

12 、不需要加入数据集进行测试，基底模型的能力不行就是不行，这是我实际体验了各路开源模型后得出的结论。LLaMA 在这几个月里被搞出来的微调版本这么多，个个都是动不动就被人吹成能追上 GPT3.5 甚至 GPT4 的水平，甚至还有自己在文章里就吹能部分达到 GPT4 水平的，但又有哪个能真的达到？都是一上强度立马拉稀。

13 、我不清楚你是什么情况，但我是在 ChatGPT （ GPT3.5 ）刚出来的时候就已经将其融入到了日常的工作和生活中实际使用，在 GPT4 出来之后更是进一步做了很多自用的、包含复杂逻辑的省事工具，也用其解决了很多麻烦事，并且在 OpenAI 大规模封号后也测试过了各路开源模型，家里的机柜更是早在 ChatGPT 出来前就预留了 GPU 服务器的位置。我觉得我应该已经比除了本身就在 AI 行业内的人以外的绝大多数人都重视模型的使用、用足够 Open 的眼光看待新事物了，完全有资格挑刺。

14 、你似乎又理解错了什么，这家名为“开源宇宙 GPU 服务器工厂”的淘宝店并没有所谓的“魔改 NVLink”，也并没有宣称自己有所谓的“魔改 NVLink”，只是个卖常规多卡 GPU 服务器的商家而已。不过他们的定制服务器机箱倒是有点意思，提供了一种非品牌服务器的机架式多卡方案。

@lan894734188 #21 win7 不清楚，估计不太行，win11 的 arm 版可以。java6 的东西基本就不太能跑了，我现在这种都是直接 rdp 连到另一台机处理的。如果你需要跑这种比较老的东西，还是别碰 mac 了...

有好有坏，好处很明显，续航长，在服务器边调半天都不带掉电的。缺点在你这个使用场景下，主要就是物理接口和软件兼容性问题比较影响使用体验，还有前面已经被提到过的易划伤…除此之外其他的软件使用变化都是可适应的，问题不大。

物理接口方面，USB 和网口都需要转接，比较麻烦；
软件兼容性方面，老一点的服务器管理软件可能直接就没法运行，或者是运行起来也一堆问题。

易划伤方面，给你举两个我的例子。一个是机身边缘在轻轻撞到了机架那个 L 型位置后，就多了两道有点深度的划痕；一个是 MBP 和螺丝刀平放于桌面时，不小心碰到螺丝刀，螺丝刀头划过了机身边上，也多了道浅划痕…可以说是极其脆弱。

@046569 #10 你说的 4090+魔改 NVLink 指的具体是什么样的操作？我也没搜到相关的商家

@046569 #10 你似乎理解错了什么，我的意思是你如果想知道显存占用和速度( token/s )如何，完全可以租云算力自己测试，想用什么卡就租什么卡。

另外就目前这玩具水平来说，个人场景下的本地推理属实有点伪需求...不过你开心就好。

还是重启吧，我这时不时就会碰到关闭应用重开都无法解决的卡顿/无法点击/无法输入的问题，重启之后啥事都没有了。

M2 不知道，但是反正 M1 Pro 是空调房 50 度左右，风扇不转，机身略有温热感

京东自营 ikbc 闭眼买就行了，没什么特殊手感要求就红轴，便宜实惠、完全满足需求

有一说一，这年头 AI 写简单逻辑的代码毫无问题，这种不复杂的需求在没有成熟方案的情况下就别老想着找现成的了，直接让 AI 写一个工具也就分分钟的事

换个思路，让 GPT4 基于 OpenAI 文档里的 API 描述，按你喜好随便用个 Web 框架写个代理，转换成 OpenAI 格式的接口就行了

@046569 #8 就算你不考虑用服务器+专业卡，那些服务商里也有租消费级硬件的，国内这块市场很成熟了，主流选择随便一搜就能找到

@046569 #5 直接在 huggingface 上测的，资源占用情况不清楚，你可以租云算力跑一下试试

实测 70B 版本干活的水平也就比之前稍微好点，跟 GPT4 还是差太多了，依然是只有聊天、知识库问答之类的简单场景适合用，还是处于玩具的水平。在这前提下能不能运行到本地设备的意义都不大了，缺乏实用性。

@8520ccc #9 有小的版本，手机都能跑的

有一说一，人家还真不一定在乎 toC 这部分业务，毕竟主要收入靠的是 toB ，而 POE 之类的第三方平台最终也还是得走 toB 的渠道给他们交钱，本质上都是一家人…

识别部分其实可以考虑看看基于 meta 那个新的图像模型做，效果应该挺好