@
046569 #15
1 、显卡这种东西基本就不存在损坏问题,纠结保修除了减少可选项以外毫无意义。我服务器上没改散热的 3090 之前闲着的时候就一直在挖矿,直到 ETH2.0 之后才停,挖矿期间显存长期保持 110 度拉满,比矿场环境还恶劣,然而到现在依然在稳定运行。
2 、拆分模型带来的性能损失也没有用图大显存而用苹果芯片带来的多,NVIDIA GPU 的方案依然是最优解。
3 、苹果芯片目前的能力过弱,显然不会有人正经用,更不会成为主流,怎么可能会有人拿出来做出租的生意...想找到基于苹果设备的测试案例就更是海底捞针了。
4 、大公司的模型再怎么更新,也依然可以通过 Prompt 引导学会特定方法,甚至是遵循复杂的规则。这种事情对于当下的大模型而言都并不是什么问题,在未来随着 Token 上限的提高,就更不会是问题了。
5 、随着模型被喂的数据越来越多,微调的需求只会越来越少。而且现在的 GPT4 都已经能通过 Prompt 引导做到训练数据中大概率没有的事了(正常让它说都完全说不出正确信息的专业领域),除了信息量大且与其他领域没有共通点的情况以外,只要 Token 够用就不需要微调。
6 、担心泄密的只会是企业级场景,信息量大、使用人数多无法面面俱到;个人场景下不存在这个问题,只需要做个内容替换处理就能解决。
7 、实测再怎么精度下降也比开源模型强,完全没法比...换句话来说,如果开源模型有能力做到与商业模型(如当下的 GPT4 )同等的水平,那做出这个开源模型的厂商为什么不拿去赚钱?用爱发不了电啊。
8 、目前的大模型市场根本就不是私有云( NAS )跟公有云的情况,你这个例子是错误的。之所以私有云能始终占有一席之地,本质原因是:在自建的情况下,只要花了足够多的钱就能在自己的一亩三分地上得到足够好的体验,而用公有云要做到同样好的体验需要花费远超自建数倍甚至数十倍、数百倍的成本才能做到。
现在的开源模型在基本的能力上就完全没法跟商业模型比,商业模型已经跨过了“可用”的门槛,开源模型还处于上一阶段的水平,只是部分优化过的样例看起来还行而已,实际一上强度就拉稀。在这种情况下,你花再多的钱也达不到足够好的体验,都没有可比性。
9 、小工作室、个人开发者做产品要追求速度(除非不打算活了),Mac 更不可能作为可选项,无论是买二手卡还是云服务,都比用 Mac 实际。更何况小工作室、个人开发者程度的需求,通过设计 Prompt 就能解决,基于商用模型做的效果和效率只会更好。
10 、在需要砸钱发展的领域,没钱的公司本来就不配参与,被少数公司垄断是非常正常的现象,这就是现实。而少数公司只要想赚钱,最后自然而然地就会普惠大众,自然也就会让每个人变得更强大,不存在悲哀。(基于 OpenAI 的接口出来的各种套皮服务就是很典型的例子)
11 、行业的应用前景跟个人场景毫无关系,而且企业级的场景在大语言模型能力不足的情况下,也只会将其用于合适的简单应用,或者使用其他专用模型代替。
12 、不需要加入数据集进行测试,基底模型的能力不行就是不行,这是我实际体验了各路开源模型后得出的结论。LLaMA 在这几个月里被搞出来的微调版本这么多,个个都是动不动就被人吹成能追上 GPT3.5 甚至 GPT4 的水平,甚至还有自己在文章里就吹能部分达到 GPT4 水平的,但又有哪个能真的达到?都是一上强度立马拉稀。
13 、我不清楚你是什么情况,但我是在 ChatGPT ( GPT3.5 )刚出来的时候就已经将其融入到了日常的工作和生活中实际使用,在 GPT4 出来之后更是进一步做了很多自用的、包含复杂逻辑的省事工具,也用其解决了很多麻烦事,并且在 OpenAI 大规模封号后也测试过了各路开源模型,家里的机柜更是早在 ChatGPT 出来前就预留了 GPU 服务器的位置。我觉得我应该已经比除了本身就在 AI 行业内的人以外的绝大多数人都重视模型的使用、用足够 Open 的眼光看待新事物了,完全有资格挑刺。
14 、你似乎又理解错了什么,这家名为“开源宇宙 GPU 服务器工厂”的淘宝店并没有所谓的“魔改 NVLink”,也并没有宣称自己有所谓的“魔改 NVLink”,只是个卖常规多卡 GPU 服务器的商家而已。不过他们的定制服务器机箱倒是有点意思,提供了一种非品牌服务器的机架式多卡方案。