Pig Hive HBase Zookeeper安装和配置
evernote共享链接: https://www.evernote.com/pub/xuyuantree/20_
hadoop@zqh:~$ cd /usr/local
hadoop@zqh:/usr/local$ sudo
mkdir pig
hadoop@zqh:/usr/local$ cd /home/zqhxuyuan/download
hadoop@zqh:/home/zqhxuyuan/download$ sudo tar zxf pig-0.10.0.tar.gz
hadoop@zqh:/home/zqhxuyuan/download$ sudo mv pig-0.10.0 /usr/local/pig/
hadoop@zqh:~$ sudo vi /etc/profile
export PIG_HOME=/usr/local/pig/pig-0.10.0
export PATH=$PATH:$PIG_HOME/bin
hadoop@zqh:~$ source /etc/profile
hadoop@zqh:~$ pig -x local 以本地模式启动pig,后面介绍和Hadoop一起使用
HBase,Zookeeper的安装和Pig的一样.解压,创建文件夹,配置文件...
export PIG_HOME=/usr/local/pig/pig-0.10.0
export HBASE_HOME=/usr/local/hbase/hbase-0.92.0
export ZOOKEEPER_HOME=/usr/local/zookeeper/zookeeper-3.3.3
export PATH=$PATH:$PIG_HOME/bin:$HBASE_HOME/bin:$
ZOOKEEPER_HOME/bin
export PIG_HADOOP_VERSION=20 #指定pig连接的hadoop为0.20.x
export PIG_CLASSPATH=$HADOOP_HOME/conf
Pig+Hadoop模式运行max_temp.pig(Hadoop:The Definitive Guide)P371
1.编写pig脚本,注意LOAD的路径
max_temp.pig
LOAD 'micro-tab/sample.txt' --如果以Hadoop模式运行,这里的路径是HDFS中的相对路径
2.启动伪分布式Hadoop集群
hadoop@zqh:~$ cd /usr/local/hadoop/hadoop-0.20.2
hadoop@zqh:/usr/local/hadoop/hadoop-0.20.2$
bin/start-all.sh 启动hadoop
3.拷贝输入文件到HDFS分布式文件系统,注意要和pig脚本LOAD的文件路径要对应
hadoop@zqh:~$ hadoop dfs -put input/ncdc/micro-tab micro-tab
因为设置了HADOOP_HOME所以可以在任意目录下执行hadoop命令
input/ncdc/micro-tab是本地文件系统的文件夹, micro-tab是hadoop HDFS分布式文件系统. 为相对路径.
hadoop@zqh:~$ hadoop dfs -ls
/usr/hadoop/input
/usr/hadoop/output
/usr/hadoop/micro-tab 这就是我们刚刚上传的文件 绝对路径为: hdfs://localhost:9000/usr/hadoop/micro-tab
所以max_temp.pig LOAD的路径其实就是:
hdfs://localhost:9000/usr/hadoop/micro-tab/sample.txt
4.hadoop模式运行pig脚本
hadoop@zqh:~$
5.hadoop上查看运行情况
localhost:50030
在Completed Jobs中可以看到:
User Name Map Reduce...
hadoop PigLatin:max_temp.pig
localhost:50070
点击Browser the filesystem可以查看在HDFS上的文件系统