ambari2.6安装alluxio2.1.0
准备的文件:
alluxio-2.1.0-bin.tar.gz (自己去下载)
ranger-hive-plugin-0.7.0.2.6.5.0-292.jar (如果没有ranger控制权限,涉及的下面相关操作可忽略)
ambari-alluxio-service-master.zip (本人二次开发的ambari插件,实现ambari控制管理alluxio)
链接:https://pan.baidu.com/s/1f_C6E1_ZsqOyonPoUuroVA
提取码:pbk1
step1. Linux环境配置
在 ambari server节点上执行:
cd /var/lib/ambari-server/resources/stacks/HDP/2.6/services
mkdir ALLUXIO
unzip ambari-alluxio-service-master.zip -d ALLUXIO/
mv alluxio-2.1.0-bin.tar.gz ALLUXIOF/package/files/
由于线上hive通过ranger控制权限,alluxio对ranger管理的hive表会有权限问题,目前只能经过本人修改源码绕过alluxio对ranger的权限管理,已提供重新编译打的jar包:ranger-hive-plugin-0.7.0.2.6.5.0-292.jar
在hiveserver2节点上执行:
#均强制覆盖
cp ranger-hive-plugin-0.7.0.2.6.5.0-292.jar /usr/hdp/2.6.5.0-292/hive/lib/ranger-hive-plugin-impl/
cp ranger-hive-plugin-0.7.0.2.6.5.0-292.jar /usr/hdp/2.6.5.0-292/hive2/lib/ranger-hive-plugin-impl/
cp ranger-hive-plugin-0.7.0.2.6.5.0-292.jar /usr/hdp/2.6.5.0-292/ranger-hive-plugin/lib/ranger-hive-plugin-impl/
cp ranger-hive-plugin-0.7.0.2.6.5.0-292.jar /usr/hdp/2.6.5.0-292/ranger-admin/ews/webapp/WEB-INF/classes/ranger-plugins/hive/
由于alluxio自身是root用户启动,无法修改,访问hdfs会有权限问题,需要把root用户加入hdfs组,每台机都需执行:
usermod -a -G hdfs root
新建hdfs上的alluxio的home目录,设置权限
hadoop fs -mkdir /user/alluxio
hadoop fs -chown root:hdfs /user/alluxio
hadoop fs -chmod 755 -R /user/alluxio
由于新安装需要重启ambari-server,此操作对线上无影响
sudo ambari-server restart
step2. ambari配置
通过最近机器负载观察,确定把master节点选择cxy-hdp-node-60 这台机
线上机器由于cxy-hdp-node-171、cxy-hdp-node-172这两台机负载过大,worker节点选择除这两台机机以外的所有Datanode节点
一路next直到这里去掉钩钩
一路next直到安装成功,直到一片绿
重启hiveserver2