安装SPARK 环境变量设置

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/sinat_26566137/article/details/82904431

主要涉及到两个地方设置环境变量：
区分下两个变量针对的用户权限，适用范围；
还有pycharm下面针对uttest默认下面的environment的设置；添加SPARK_HOME,以及PYTHONPATH；
另外针对本地跑spark报keyERROR,os[‘SPARK_HOME’]如果不在代码中带上，在项目中进行按上述方式在pycharm的run的菜单栏中，添加SPARK_HOME,以及PYTHONPATH；
vim ~/.profile
vim ~/.bashrc
生效：source ~/.bashrc
环境变量设置：
sudo mv jdk1.8.0_181 /usr/lib
sudo mv scala-2.12.7 /usr/lib
hadoop-2.6.5
export JAVA_HOME=/usr/lib/jdk1.8.0_181
export SCALA_HOME=/usr/lib/scala-2.12.7
export SPARK_MASTER_HOST=localhost #单机下配置为localhost
export HADOOP_CONF_DIR=/home/user/hadoop-2.6.5/etc/hadoop/ #hadoop配置目录
export SPARK_WORKER_MEMORY=8g #给spark分配8G内存
export SPARK_WORKER_CORES=16 #允许spark以16核并行运算

export JAVA_HOME=/usr/lib/jdk1.8.0_181
export SCALA_HOME=/usr/lib/scala-2.12.7
export HADOOP_HOME=/home/tsl/changsha/hadoop-2.6.5
export SPARK_HOME=/home/tsl/changsha/spark-2.3.2-bin-hadoop2.6
export PATH= $PATH:$JAVA_HOME/bin: $SCALA_HOME/bin:$SPARK_HOME/bin: $SPARK_HOME/sbin:$HADOOP_HOME/bin: $HADOOP_HOME/sbin export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
参考博客：
https://www.cnblogs.com/shixiangwan/p/6159299.html