kettle配置hadoop cluster

1.配置kettle支持的hadoop版本

修改data-integration\plugins\pentaho-big-data-plugin\plugin.properties中

active.hadoop.configuration=hdp23

支持的hadoop版本在data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations中列出

2.在kettle界面选择支持的hadoop版本

工具>Hadoop Distribution>


3.在Hadoop cluster配置页面填入相关信息(可参照ambari管理界面),然后点击“测试”,查看配置结果



 
 此处会碰到一些问题:

1).shim configuration verification红叉

解决办法:

将data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp23中的hadoop配置文件xml,替换为hadoop集群中的配置文件

比如core-site.xml、hbase-site.xml、mapred-site.xml、yarn-site.xml

2).user home directory access和verify user home permission红叉

1.(废弃)这个问题网上解决办法不多,hdfs用户为启动其进程时的用户,ambari默认用的是hdfs用户,所以需要将kettle拷贝到Hadoop的hdfs用户目录下。

我当时是在办公电脑上配置的,始终测试不通过。因为办公电脑用户不是hdfs,kettle始终用的是本机用户连接的Hadoop cluster。

2.在hdfs文件系统创建办公电脑的用户:

   hadoop fs -mkdir /user/用户名

4.测试通过后



 

 

猜你喜欢

转载自zsg86.iteye.com/blog/2394790