kettle版本对应hadoop平台等问题

1.kettle版本支持状况
http://wiki.pentaho.com/display/BAD/4.4+Configuring+Pentaho+for+your+Hadoop+Distro+and+Version
c:\Users\Desktop\data-integration\plugins\pentaho-big-data-plugins\plugin.properties里面的


# For more configuration options specific to the Hadoop configuration choosen
# here see the config.properties file in that configuration's directory.
active.hadoop.configuration=hdp24   <-----这里添加hdp24


kettle 6.0版本对应hortworks2.2   配置写为hdp22
kettle 6.1版本对应hortworks2.3   配置写为hdp23
kettle 7.0版本对应hortworks2.4   配置写为hdp24
kettle 7.1版本对应hortworks2.5   配置写为hdp25


2.本地导入hdfs的配置
http://blog.csdn.net/cdmamata/article/details/56846895


3.kettle的问题集合,(动态抽取)
http://blog.sina.com.cn/s/blog_664558d30100q2p6.html


4.1 set/getfacl Linux赋予权限给某个用户组/用户到指定文件夹                                            ----------------------------->Linux权限问题
https://www.ibm.com/developerworks/cn/linux/l-acl/index.html     --------->IBM官方


命令一:
[root@FC3-vm mnt]# setfacl -m u:testu1:rwx,g:testg1:r file1
[root@FC3-vm mnt]# getfacl file1
# file: file1
# owner: root
# group: root
user::rw-
user:testu1:rwx
group::r--
group:testg1:r--
mask::rwx
other::r-


命令二:删除/覆盖/添加并且限制最大权限给指定用户和指定文件   ------->见IBM网页


4.2 chown -R 用户名:组名 文件名
$ hdfs dfs -chown lisa:input /input    ------ 修改input目录的owner为lisa,group从supergroup改为input


4.3chmod 777/421 文件名 u:所有者  g:所属组  o:其他人 


4.4 增添一个已有用户到已有用户组
usermod -a -G apache cnzhx  次要组
usermod -g apache cnzhx  主要组
gpasswd -d user group   如果要将一个用户从某个组中删除,则需要保证 group 不是 user 的主组。


5. hdfs权限管理控制
http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_permissions_guide.html


6.所属组与附属组区别与联系
在使用useradd命令创建用户的时侯可以用-g 和-G 指定用户所属组和附属组。
基本组:如果没有指定用户组,创建用户的时候系统会默认同时创建一个和这个用户名同名的组,这个组就是基本组,不可以把用户从基本组中删除。在创建文件时,文件的所属组就是用户的基本组。
附加组:除了基本组之外,用户所在的其他组,都是附加组。用户是可以从附加组中被删除的。
用户不论为与基本组中还是附加组中,就会拥有该组的权限。一个用户可以属于多个附加组。但是一个用户只能有一个基本组。

猜你喜欢

转载自blog.csdn.net/maenlai0086/article/details/81170953