伪分布部署
(1)部署环境
1.hadoop目录下部署环境配置
配置:hadoop-env.sh配置jdk环境变量JAVA_HOME
1.配置core-site.xml文件
Vi core-site.xml
指定HDFS中namenode的地址。将命令放到configuration标签中
<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop100:9820</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-3.1.3/data/tmp</value>
</property>
</configuration>
3.配置hdfs-site.xml
命令:vi hdfs-site.xml
在configuration中指定HDFS的数量
<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4.启动集群
格式化namenode
命令:
hdfs namenode -format
启动namenode
命令:
hdfs --daemon start namenode
查看进行
命令:jps
启动一个datanode
hdfs --daemon start datanode
Jsp查看java进程
命令:jsp
在HDFS中创建文件夹/user/input
命令:hdfs dfs -mkdir -p /user/input
将文件上传到HDFS
命令:hdfs dfs –put 要上传的文件名 上传的地址
案例: hdfs dfs -put wcinput/wc.input /user/input/
查看hdfs的文件目录
命令:Hdfs dfs –ls 文件路径
注意,这里面的根目录不是linux的根目录
案例:hdfs dfs -ls /user/input/
查看hdfs中文件内容
命令:hdfs dfs –cat 文件名
案例:hdfs dfs -cat /user/input/wc.input
执行文件
命令:hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount 执行的文件位置 输出的文件位置
案例:hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /user/input /user/output
查看执行后的结果
命令:hdfs dfs -cat 输出文件路径/*
案例:hdfs dfs -cat /user/output/*
- 停止进程 hdfs –daemon stop namenode