pyspark 连接 spark 集群部署问题

[marin1995]

请教一下各位大佬，我现在使用 pysaprk 做 sparkstreaming 处理 kafka 的数据。程序单机跑的时候没有问题，连接集群的时候就会报错 no module named "xxxx"，连接方式是在程序是设置 setMaster(""spark://host:port)。是不是还要配置其他环境变量呢？麻烦大佬指点一下，有偿~

[besttime]

pyspark 的 job 提交到 spark 后，会调用 spark 所在环境的 python 解释器，而这个报错的问题就是在于 spark 所在的环境的 python 解释器缺乏你使用的类库。

[fzy0728]

https://www.jianshu.com/p/df0a189ff28b

[xiaoxuxu]

可以用 pyenv 建个 Python 环境，然后打成压缩包。运行 spark-submit 的时候用--archives 传这个压缩包，并且设置 PYSPARK_DRIVER_PYTHON、PYSPARK_PYTHON 为压缩包内 Python 可执行文件的相对路径，大概是这样：

PYSPARK_PYTHON=./python-env/bin/python PYSPARK_DRIVER_PYTHON=./python-env/bin/python spark-submit --master yarn --deploy-mode cluster --archives python-env.zip#python-env