设置pyspark 启动时所使用的python版本

以下操作均为使用非root用户进行。

vim ~/.bashrc

在文件中添加：

export PYSPARK_PYTHON=/usr/local/bin/python3

指定pyspark启动时使用的python版本，
#export PYSPARK_DRIVER_PYTHON=ipython3

指定启动pyspark后的交互式界面，使用ipython3作为默认启动交互界面
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --no-browser --port 8889 --ip=172.16.80.142"

指定启动pyspark后的交互式界面，使用jupyter作为默认启动的交互界面，指定ip 和port 可以让同网段的设备访问jupyter 进行pyspark 操作

source ~/.bashrc

加载配置生效