spark第7天-linux

下载jdk
  • 进入jdk官方下载地址,下载java se 7,按照教材选择的比较简单的rpm

出现插曲Sorry, you must accept the License Agreement before downloading,仔细看上方有需要勾选的accept the license

默认下载到下载文件夹里,把它搬到了/opt/java文件夹中,注意sudo权限问题,以及可以直接sudo -s进入root权限操作,最后exit退出root身份

  • 接下来alien -i -c -v jdk-7u80-linux-x64.rpm

发现不管你把压缩文件放在哪里以及在哪里安装,最后一定会帮你挪到默认文件路径/usr/java/jdk1.7.0_80

  • 设置环境变量java_home

1. 修改文件 vim ~/.profile

加入 export JAVA_HOME=/usr/java/jdk1.7.0_80

栽跟头的一点是等号左右两边不要加上空格!

在别的地方看的教程多加了两句:

export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/

export PATH=$PATH:$JAVA_HOME/bin

2. 把这个文件里保存的命令执行一次(方法是使用source命令)

执行命令  source ~/.profile

检验是否成功

第一种检验方式:$JAVA_HOME/bin/java -version

注意-version前面需要空格!

第二种检验方式:java -version

×××××

后来下载se8覆盖,java version "1.8.0_152"

----------------------------------------------------------------------------------

下载spark预编译包

选择的是spark1.6.2 hadoop2.6

  • 解压

目录:/opt/spark

tar xvf spark-1.6.2-bin-hadoop2.6.tgz

  • 测试圆周率程序:

进入spark目录:cd spark-1.6.2-bin-hadoop2.6

./bin/run-example SparkPi 10 2>/dev/null

注意!运行时需要加上路径!!别把当前目录不当路径!!!如果你进入bin目录,运行时也需要加上路径,即命令为:./run-example SparkPi 10 2>/dev/null)

输出结果:Pi is roughly 3.143772

  • spark交互式编程

./bin/spark-shell --master local[2]

其中2表示启动两个工作线程

同时master会启动一个http web服务,方便查看spark的工作状态。在浏览器中输入<LocalIP>:4040,可以出现具体界面。

此处犯蠢,localip是需要自己查本机的ip,而不是直接填这几个字母进去...比如我的就是输入http://172.22.255.xxx:4040

然后又跑了几个count first的例子

------------------------------------------------------------------

下一次进行2.3 编程指南

主要是rdd的创建和操作以及编译链接和打包


猜你喜欢

转载自blog.csdn.net/u014381464/article/details/79665833