K8S 部署 Hadoop 好吗？

[wanglv110]

公司最近的新应用，后台本来是微服务架构，现在领导看到了 docker 和 k8s，要把现有服务器全交给 k8s 来管理编排，其实后台服务还好，不管是现在的微服务还是以前的应用，都可以用 k8s 和 docker 很好的部署应用，不过现在要把所有服务都用 k8s 来管理，我这边现有的 cdh 集群，ES 集群，spark 工程和 flink 工程全部要容器化，想问这样真的好吗？ 感觉会出问题，现在运维懂点 k8s，但不懂大数据的东西，我知道大数据的东西，但对 k8s 不太了解，现在领导要全员学 k8s，我只知道一些常用命令，但感觉远远不够，如果后面出问题，解决起来感觉很麻烦，请问有这样用 k8s 和 docker 来管理所有包括大数据服务的吗？

[xdays]

用 k8s 管理有状态的服务，现在有 statefulset，但是我还是觉得比较激进。

[rrfeng]

最简单的办法，去 hadoop 官方看有无解决方案。没有就别搞。

因为 hadoop 是一个生态，包含很多组件的，要解决大量的配置问题，不是说不能，而是一般场景下你们搞不定。

[TinyKube]

用 Helm 装一下，看看需要什么依赖，有状态服务对存储卷要求比较高

[buliugu]

知乎有人测评大约有 30%的性能损失 https://zhuanlan.zhihu.com/p/52556754

[hantsy]

不用 Docker，K8s 还叫微服务？容器化基本是微服务不可缺少一部分。

[zcl0621]

hadoop 上 k8s 坑比较多, 之前弄过一个 30 个节点的 hadoop,前前后后接近 1 一个月时间服务才稳定

[artandlol]

一年前就想搞了，但是，不想踩坑

[p2pCoder]

大数数据存储 计算引擎 调度，这些东西有很多底层的东西，上容器坑很多，没有完善的开源解决方案
大数据存储直接上容器，没了解业内大厂有这样做过的
但是计算引擎比如 spark flink tensorflow openmpi 转向 k8s 已经是很多大厂再做的了，不过都是挺大的团队一路踩坑过来的
容器还是有很多坑的，之前推荐引擎服务上 k8s+docker，前后搞了好几个月，目前仍有一些 NN 模型在容器中跑有问题

[luckyrayyy]

计算存储好分离吗？

[CoderGeek]

只能说坑不少 除非有玩的明白的运维人员 要不维护头大

[Beebird]

存储很重的服务，上 kubernetes 还是不太好。我觉得首先得破除一个迷思，就是认为容器化程度越高越好。就算一定要容器化，也不一定非要放进 k8s 里。对 hadoop 来说，无论是 k8s 的 HostPath 还是 PersistentVolume，都“太灵活”了，反而增加了管理维护的成本。

[kebyn]

除了 hadoop 暂时没有原生的解决方案以外，但是官方出了另外的云原生替代器 hadoop-ozone
spark2.3 后已经有官方支持，处于 experimental 阶段 https://spark.apache.org/docs/latest/running-on-kubernetes.html
flink1.10 也已经有官方支持，也处于 experimental 阶段 https://ci.apache.org/projects/flink/flink-docs-release-1.10/ops/deployment/native_kubernetes.html
ES 有生产级别官方支持方案

[pmx1990]

存储不太好解决，除此之外都 OK