Nvidia Jetson AGX Ori 开发者套件

[sunmacarenas]

有了解 Nvidia Jetson Agx ori 的吗？ 想入手一个 64G 的用来玩玩，chatglm2 和 SD,看参数有 270Tops 运算能力。

[sunmacarenas]

有 Nvidia 大佬吗，能给个优惠码么？

[ysc3839]

坑多，个人感觉意义不大，虽然都支持 CUDA ，但相关软件未必像 N 卡那样能开箱即用。而且视频编解码接口是完全不兼容 N 卡的那套的，至少老产品是不兼容的。

[leimao]

是 Orin 不是 Ori

[sunmacarenas]

@ysc3839 主要为了折腾，坑多倒是不怕。YouTube 上看了一些视频，跑 llama2-13b 能有 2tokens 左右的速度，主要看它体积小，如果换 n 卡 4090 的话体积太大，功耗太高，而且两张 4090 有些超预算了。

[sunmacarenas]

@leimao 多谢指正

[leimao]

@ysc3839 Orin 上有低功耗的 Deep Learning Accelerator ，这个是 data center GPU 不具备的。

[leimao]

@sunmacarenas llama 我没怎么用过，建议去找一下 NVIDIA 官方 examples 或者询问社区。计算机视觉的一些模型运行起来速度还是很快的，比上一代 Xavier 快了特别多。

[leimao]

@sunmacarenas 另外，这个 270TOPS 的运算能力有相当大一部分是 Deep Learning Accelerator 的 TOPS 。而目前 Deep Learning Accelerator 对于 LLM 模型的支持，可能还在开展中。如果 LLM 是主要应用的话，建议提前做好调研。

[sunmacarenas]

@leimao 好的，非常感谢大佬

[WuSiYu]

jetson 是给嵌入式（比如车机）用的，规模和普通 GPU 还是差不少，那个 270TOPS 是 int8+稀疏，实际跑常见的 fp16 非稀疏得除 4 ，实际性能会比 3070 还低一两倍，跑 sd 会非常慢。另外 nvdla 主要是低功耗用途，性能不高，跑大模型没帮助

[leimao]

https://www.nvidia.com/content/dam/en-zz/Solutions/gtcf21/jetson-orin/nvidia-jetson-agx-orin-technical-brief.pdf

[sunmacarenas]

@WuSiYu 跑 int4 的量化模型呢，速度也非常慢吗？

[elechi]

淘宝

[ambition117]

orin 出了好久了，而且最近有传言 DLA 要被放弃

[mushuanl]

计算力上去后大模型主要跟内存速度有关，要跑大模型并且想简单，还是建议 mac + llama.cpp, 800gb/s 速度可以直接跑 falcon 180b (得 192g 内存版本的) 个人觉得这个模型虽然微调难度大，但微调结果超过 gpt3.5

[wodong]

一直在 Orin 上做无人机自动识别相关，但完全没考虑到太多性能问题 ，但是比上一代确实流畅太多了，公司购买的 16+256 4G 版本，8200 左右(设备全都封装好了，开箱即用)

[timeance]

@ambition117 #14 22 年中才出的 AGX Orin ，而且相比上一代这代 NV 推的力度还是比较大的

而且 Jetson 这个板子，主打的是低功耗 跑推理用的。拿来做训练不合适

[timeance]

@wodong #16 如果是 16g ，我猜是 Orin NX ，这个价格真的贵了（

市场价在 6-7k 是比较合适的

[sunmacarenas]

@timeance 64G 的，主要是用来推理，价格大概 16000 左右。是 Jetson AGX ORIN 64G

[wodong]

@timeance #18 没办法，自己公司没有封装封装能力，就只能给人家转这笔钱了