分享给对 ml infra 有兴趣的老铁们的学习资源

[dayeye2006199]

最近发现一个很好的学习群，主要一起学习机器学习里面的 cuda 和性能相关的知识。 更新频度比较佛系，大概两周一个 lecture 。视频在此： https://www.youtube.com/@CUDAMODE 讨论区在 discord 上面： https://discord.gg/cudamode

涉及的知识例如：

• 怎么做 profiling
• 框架例如 pytorch 是怎么和 cuda 一起工作的
• GPU 和 cuda 是怎么工作的
• 模型的性能优化方法有哪些

学的东西也挺实用的，如果想做和 LLM 相关的，哪怕不会 C++，学学怎么写 triton kernel 也是很好的，这样也可以看懂一些流行的推理框架比如 vllm 是怎么写自定义算子加速的。

[slayer]

感谢分享，最近想转这个方向，问问老哥现在做什么呢？

[dayeye2006199]

@slayer 做预训练

[slayer]

@dayeye2006199 #2 6 啊，我准备看看推理方向的