Nvidia Jetson AGX Ori 开发者套件

2023-09-19 10:53:39 +08:00
 sunmacarenas

有了解 Nvidia Jetson Agx ori 的吗？ 想入手一个 64G 的用来玩玩，chatglm2 和 SD,看参数有 270Tops 运算能力。

2878 次点击
所在节点    NVIDIA
42 条回复
mushuanl
2023-09-19 22:16:52 +08:00
企业微调要求全尺寸 nv gpu ，个人玩可以用量化模型。另外现在企业微调的效果并不是很好,包括 rag(提供上下文进行推理），所以现在大模型开始有点冷了，就看看谷歌出的模型如何了。
mushuanl
2023-09-19 22:18:04 +08:00
全尺寸模型，也就是 gpu 内存要求很大微调成本很高。一般就租云服务器去练习。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/975113

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX