安装环境搭建：
- 安装虚拟机VMware-workstation-full-12.5.7.20721.exe，以管理员身份运行，自行定义安装位置，安装过程参考软件安装管家公众号
- CentOS的安装：https://jingyan.baidu.com/album/0eb457e5d7b28403f0a90577.html?picindex=3，，安装过程中将虚拟磁盘拆分成多个文件（M），根据需要进行软件选择，自定义安装位置，开始安装时配置root用户密码，用户名和用户权限。出现如下报错：
解决方法：https://blog.csdn.net/qq_33468857/article/details/90346550
JDK的安装 ：https://blog.csdn.net/dhr201499/article/details/81626466
- 手动下载jdk1.8安装包，并解压到/usr/local/
- 配置环境变量vim /etc/profile，在文件末尾添加如下环境变量并生效，即可安装成功：
Hadoop的安装和启动： https://www.jianshu.com/p/e925137b2aa2，hadoop未启动起来，一个一个启动能方便发现问题
- 查看ip地址：ifconfig
- 修改hostname：vim /etc/hostname
- 注意需要把所有的hadoopserver改成自己的名字
- 关闭防火墙：systemctl stop firewall；systemctl disable firewalld
- 启动./sbin/yarn-daemon.sh start resourcemanager；./sbin/hadoop-daemon.sh start datanode；./sbin/hadoop-daemon.sh start namenode
- tail -100f logs；tail -100f logs/yarn-root-resourcemanager-bigdata.cmcc.com.out
- 成功后有四个文件可以启动起来，也可以登录进去网页http://192.168.42.161:8088/cluster
- 总结hadoop的启动：
[hadoop@bigdata ~]$ su root [root@bigdata hadoop]# ssh localhost [root@bigdata ~]#ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa [root@bigdata ~]#cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys [root@bigdata ~]#chmod 0600 ~/.ssh/authorized_keys [root@bigdata ~]#ssh localhost [root@bigdata ~]#hdfs namenode -format [root@bigdata ~]#start-dfs.sh [root@bigdata ~]#jps [root@bigdata ~]#start-yarn.sh [root@bigdata ~]#jps
PIG的安装：https://blog.csdn.net/weixin_34074740/article/details/91505214
Maven的安装：https://blog.csdn.net/qq_28410283/article/details/81837151
Oozie的安装：
- 修改maven的仓库设置cd /usr/local/maven中conf下的settings.xml文件（必须要这步操作，否则Oozie编译报错）
- 手动下载并解压Oozie至/usr/local/oozie5.1.0，修改环境变量vim /etc/profile，修改oozie.pom文件中对应的hadoop版本号，执行source /etc/proflie
- 官方提供的只是源码，需要自己去编译生成打包的文件，编译过程如下，在bin目录下执行mkdistro.sh -DskipTests -Puber进行编译，在distro/target目录下面会得到一个编译好的名Oozie-5.1.0-distro.tar.gz包，此时将之前下载的源码包删除或者修改名字。
- 编译出错，经解决多次，尝试各种方法没能解决，因此后续选择使用编译好的Oozie进行安装，参照网址https://www.cnblogs.com/30go/p/8335523.html中的2.2ooize的安装和https://blog.csdn.net/mapengbo521521/article/details/43983487中的部分三安装和https://yq.aliyun.com/articles/369823，需要补充的是：
- 添加环境变量；
- 修改conf中oozie-site.xml文件，修改版本名称，hadoop对应的目录，没有spark，需将其删掉
- 在oozie下创建libext文件夹，将hadoop中的包和ext-2.2.zip（oozie客户端插件）复制到libext中，在hadoop配置文件hdfs-site.xml追加oozie代理用户
Oozie的部署：
- mysql的安装和配置，授权于oozie，并创建oozie数据库，创建成功的话，会生成一个oozie.sql文件，并将mysql的jar包放到oozie的lib目录下；
- oozie环境变量的配置；
- 启动Oozie，注意启动之前先启动hadoop
- 上传Ooize目录下的yarn.Tar.gz文件到HDFS ，只上传一次bin/oozie-setup.sh sharelib create -fs hdfs://localhost:8088 -locallib oozie-sharelib-oozie版本号-yarn.tar.gz
创建oozie.sql文件并打包项目生成war包，bin/ooziedb.sh create -sqfile oozie -sqlfile oozie.sql -run bin/oozie-setup.sh prepare-war
- 成功启动后会出现BootStrap进程，在浏览器中可以查看Oozie，端口号是：11000
- Oozie验证启动成功状态，执行oozie admin -oozie http://192.168.7.88:11000/oozie -status
Oozie遇到的问题
- Q:安装完成后进不去用户登录界面，显示如下：
A: 输入【1】，按Enter键阅读许可协议，
输入【2】，按Enter键接受许可协议，
输入【q】，按Enter键退出，
输入【yes】，按Enter键确定，
重启之后即可进入图形登录界即可
- Q:用命令直接安装jdk，无法找到几个安装包
A: 下载压缩包，进行手动安装
- Q:安装jdk，解压报错
A: su root进入进行解压
- Q: hadoop安装报错，Error: JAVA_HOME is not set and could not be found
A: 添加JavaHome 路径export JAVA_HOME=/usr/java/jdk1.6.0_45
- Q: hadoop安装成功后启动报错
A: 关闭防火墙systemctl stop firewall，再次启动hadoop
- Q: hadoop不能将全部文件启动起来
A: 关闭hadoop，并进行单独启动
./sbin/yarn-daemon.sh start resourcemanager；
./sbin/hadoop-daemon.sh start datanode；
./sbin/hadoop-daemon.sh start namenode
- Q: 运行mvn -version正确，但mvn报错，依赖包下不下来
A: 修改maven的仓库设置cd /usr/local/maven中conf下的settings.xml文件，操作如下：
- Q: oozie中oozie-site.xml文件配置问题
A：添加部分代理，将对应版本及端口号都对应上
- Q: 缺少部分jar包
A：手动下载jar包，注意：添加jar包后需要打成war包，否则启动oozie会报错
- Q: Oozie启动不起来
A：启动oozie前需要将hadoop启动起来，并且需要启动JobHistorySever进程，在bin目录下执行Mr-jobhistory- daemon.sh start historysever
