k8s 并行处理有没有相关代码例子

2023-11-07 22:11:28 +08:00
 licolnlee886
想请教一下各位大佬，比如说给一个很大区间范围的数据进行分区求和，先由 master 分给各个 worker ，由 worker 来计算后反馈给 master 进行汇总，我在网上找了很多但是都没有找到相关的源码可供参考。各位大佬能不能指点指点，谢谢。
1170 次点击
所在节点    Kubernetes
3 条回复
YsHaNg
2023-11-07 22:32:07 +08:00
MPI https://github.com/kubeflow/mpi-operator
ccde8259
2023-11-07 22:36:23 +08:00
为啥是 K8S 而不是 YARN+Spark
dayeye2006199
2023-11-08 09:38:40 +08:00
你需要的的是一个可以做 map reduce 类任务的框架, k8s 并不管这事

复杂点可以用 spark ，简单点就 ray dask 这些并行处理框架

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/989672

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX