本文的前提是我们已经在linux系统上基于cdh实现了Spark on Yarn集群的搭建。
python的版本选择上，我们选择python2.7版本，安装方式选择anconda安装，这里就不详细赘述了。
一、pyspark的导入
找到“/opt/cloudera/parcels/CDH-5.10.2-1.cdh5.10.2.p0.5/lib/spark/python/pyspark”即spark的安装目录下的pyspark
将pyspark整个复制到已安装的python2.7的site-packages目录下，默认路径为“anaconda3/envs/python2/lib/python2.7/site-packages/”
二、jupyter的安装
jupyter的安装非常简单，只需要
sudo pip install jupyter
但是需要注意的是，在安装之前一定要使用“python”在命令行中确认一下目前的环境是否为你要操作的python环境，例如python2.7
如果不是可以使用
source activate python2
切换
三、Jupyter连接pyspark
按照下面内容添加环境变量/etc/profile
export SPARK_HOME=/opt/cloudera/parcels/CDH-5.10.2-1.cdh5.10.2.p0.5/lib/spark # spark安装目录
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH #pythonpath指向spark目录下的python文件夹
export PYSPARK_PYTHON=python2 #使用python2
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --no-browser --ip=0.0.0.0 --port=8888 --allow-root"
让环境变量生效
source /etc/profile
这样，只需要在命令行中启动pyspark，就可以远程编写pyspark代码了。