hadoop+spark 安装注意事项,资料及安装大礼包


本地运行hadoop/spark程序相关代码,肯定需要模拟运行时的hadoop/spark
相关环境,一些资源包什么的,所以,window 下搭建本地测试环境,前提就是要同样配置好hadoop/spark的环境。



资料包
这里写图片描述

【下载链接】
云盘链接 https://pan.baidu.com/s/1nvXdDsl 密码:5sw0

【虚拟机linux 上需要安装的软件包】
一般是将hadoop和spark安装在linux 系统下。有单独的linux主机当然很好,没有就只能使用虚拟机了。

1.hadoop编译好的包
2.java语言运行环境jdk
3.spark包
4.spark运行环境scala

【远程操作工具类】
window系统操作linux,肯定需要一些了工具。

1 ssh免安装连接工具 
2 远程编辑工具免安装 nodepad++的远程功能
3 上传下载工具 免安装的FileZilla

【本地环境调试工具类】
在linux上搭建好了hadoop环境,编写hadoop程序代码时,肯定需要本地环境调试,运行没问题才在实际的hadoop环境上运行。
spark也一样。
hadoop本地环境调试工具

0 配置好hadoop
1 免安装的eclipse
2 hadoop的eclipse插件

相关博文
     Eclipse 远程连接Hadoop
     Hadoop初探之配置IDE开发环境


spark本地python环境调试工具

0 配置好spark
1 python编辑器pycharm
2 python运行环境python2.7 

相关博文
在pycharm上配置pyspark 搭建spark测试环境
pycharm上配置pyspark

猜你喜欢

转载自blog.csdn.net/summerxiachen/article/details/79197143
今日推荐