carmark
121 天前
说下我的感受，做 AI 平台+系统 接近 8 年：
1. K8s 现在针对 AI 平台，技术点主要包括：调度器（ Gang Scheduler ），Training-Operator 这种；这里面可做的点比如：调度器性能优化，调度器调度优化解决碎片问题，解决高低优先级问题，节点内亲和性，节点间 RDMA 网络亲和性； Operator 里面结合调度，如何做容错等；
2. K8s 结合存储系统，类似 Fluid 或者其他存储方案，如何针对性提升，或者针对存储解决 AI 训练或推理场景的问题，比如训练的低延迟，推理的高吞吐；是否可以搞个缓存系统，缓存如何优化，Dataloader 如何搞；
3. K8s 结合网络，这里主要是 SRIOV 相关的技术，基于 sriov-Operator ，以及网络上 multus 就差不多；
4. K8s 结合 GPU ，GPU Device plugin ，GPU Operator 以及其他，基于 nv 的卡都具备了，GPU 可以搞搞虚拟化，容器 GPU 虚拟化，虚拟机咋接，怎么调度这些；
5. AI 平台流程化，比如熟悉 AI 算法的开发流程，调试流程，上线流程，CV 和 LLM 的特点是啥，数据集管理这些；
6. 需要了解 AI 任务分布式特点，如何建立，如何容错，如何与 K8s 结合，这部分就是 Training Operator 的内容，需要知道。
7. 进一步就是了解 AI 算法本身，比如大模型计算过程，参数量啥的，还有推理优化、预训练优化等等；