File "/export/server/spark/python/lib/pyspark.zip/pyspark/cloudpickle/cloudpickle.py", line 562, in subimport
__import__(name)
ModuleNotFoundError: No module named 'jieba'
在使用pyspark开发过程中，库中明明已经安装了jieba库但依旧提示No module named 'jieba'，
原因：
其实原因是由于spark框架是一种并行运算框架，当以local模式运行时，程序只在当前节点运行，pyspark用的只有当前的python环境。但是当以集群模式运行的时候每个节点的python必须一致，因为同一段代码会在各个worker节点执行。解决办法就是在每个节点上都安装相同的python包，这个问题中就是要在每个节点上都安装jieba包。