Spark的Local模式及案例

基本概念

Spark的Local 模式,就是不需要其他任何节点资源就可以在本地执行Spark 代码的环境,一般用于教学,调试,演示等。

Local模式搭建

1. 解压缩文件

将 spark-3.0.0-bin-hadoop3.2.tgz 文件上传到Linux 并解压缩,放置在指定位置(路径中
不要包含中文或空格)
spark-3.0.0-bin-hadoop3.2.tgz 免费下载

解压文件

[root@hadoop103 software]# tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module/

在这里插入图片描述

2.修改文件名

修改文件名为spark-local

[root@hadoop103 module]# mv spark-3.0.0-bin-hadoop3.2 spark-local

在这里插入图片描述

启动 Local 环境

1.进入解压缩后的路径,执行如下指令

[root@hadoop103 spark-local]# bin/spark-shell 

成功截图
在这里插入图片描述
2. 启动成功后,可以输入网址进行 Web UI 监控页面访问

http://虚拟机地址:4040 

在这里插入图片描述

WordCount案例

1.添加文件

在解压缩文件夹下的data 目录中,添加word.txt 文件

[root@hadoop103 data]# vim word.txt

在这里插入图片描述
在这里插入图片描述

2.执行命令

命令行工具中执行如下代码指令

sc.textFile("data/word.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect 

在这里插入图片描述

3.结果截图

在这里插入图片描述

测试Spark中examples案例

1.退出本地模式

按键Ctrl+C 或输入 Scala 指令

:quit 

在这里插入图片描述

2.提交应用

bin/spark-submit \ 
--class org.apache.spark.examples.SparkPi \ 
--master local[2] \ 
./examples/jars/spark-examples_2.12-3.0.0.jar \ 
10 

在这里插入图片描述
其中
(1) --class 表示要执行程序的主类,此处可以更换为咱们自己写的应用程序
(2) --master local[2] 部署模式,默认为本地模式,数字表示分配的虚拟CPU 核数量
(3) spark-examples_2.12-3.0.0.jar 运行的应用类所在的 jar 包
(4) 数字 10 表示程序的入口参数,用于设定当前应用的任务数量

3.结果截图

在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/weixin_44480968/article/details/119533542

相关文章