carmark

@liang723 规模大了的话，一般大厂规模会更大。不过现在小厂也是随便有百卡（盲猜）。

说下我的感受，做 AI 平台+系统 接近 8 年：
1. K8s 现在针对 AI 平台，技术点主要包括：调度器（ Gang Scheduler ），Training-Operator 这种；这里面可做的点比如：调度器性能优化，调度器调度优化解决碎片问题，解决高低优先级问题，节点内亲和性，节点间 RDMA 网络亲和性； Operator 里面结合调度，如何做容错等；

2. K8s 结合存储系统，类似 Fluid 或者其他存储方案，如何针对性提升，或者针对存储解决 AI 训练或推理场景的问题，比如训练的低延迟，推理的高吞吐；是否可以搞个缓存系统，缓存如何优化，Dataloader 如何搞；

3. K8s 结合网络，这里主要是 SRIOV 相关的技术，基于 sriov-Operator ，以及网络上 multus 就差不多；

4. K8s 结合 GPU ，GPU Device plugin ，GPU Operator 以及其他，基于 nv 的卡都具备了，GPU 可以搞搞虚拟化，容器 GPU 虚拟化，虚拟机咋接，怎么调度这些；

5. AI 平台流程化，比如熟悉 AI 算法的开发流程，调试流程，上线流程，CV 和 LLM 的特点是啥，数据集管理这些；

6. 需要了解 AI 任务分布式特点，如何建立，如何容错，如何与 K8s 结合，这部分就是 Training Operator 的内容，需要知道。

7. 进一步就是了解 AI 算法本身，比如大模型计算过程，参数量啥的，还有推理优化、预训练优化等等；

类似脉脉的思路，辅助生成答案？

国内的话可以试试 haixingcloud.com ，专为游戏配置的高主频 CPU ，RTX 3090,4090 显卡。

@lufeng666 是的，所以才是少见，但是感觉是刚需，即便把这个做成一个服务，都会有人付费的。

@lufeng666 现有的开源的 app 就没有云图的。

准确，无广告的天气 app ，对标彩云的效果就行。

> 老生常谈的项目亮点和遇到的难点是什么，这个需要说到什么粒度？比如我优化了一个本地缓存，本来是全局一个前缀树，解析字符串，根据 xxxx 的业务场景，改成了二级 map ，减小了锁的粒度。这么说是不是过于简单了？

是的简单了，我的思路是：
1. 实际过程中，在线上业务或者 perf 测试时候发现了问题，如何发现的？这里涉及到了可观测性工具，以及 perf 工具，以及 debug 思路
2. 找到了问题，那么就要考虑原有的结构， 如何调优，如何测试，有没有更好地思路，是否去做了探查，业界有哪些方法来解决这个问题（方法论问题）
3. 解决完成后，看收益，要具体到数字指标
4. 如何持续性优化思路

分享下我的经验，我作为面试官期望得到的结果：