云应用系统开发——Hadoop分布式文件系统

实验目的
Hadoop集群原理与启动顺序回顾
HDFS Shell的使用
配置Eclipse和Maven
HDFS API操作
学习编写一个HDFS程序

实验要求
结合课件自己搭建Eclipse与Maven
配置Maven
学会使用Maven创建一个工程项目
还原课本2.2 2.3 的案例
完成书上SequenceFile MapFile的操作
一:安装eclipse,搭建Maven环境
二:创建Maven项目
三:已完成Hadoop平台的搭建
四:zookeeper,hadoop集群正常启动
五:所以进程均在运行状态

1.构建Maven环境,配置系统环境变量
在这里插入图片描述
在这里插入图片描述
2:验证
在这里插入图片描述
3.设置LocalRepository
在这里插入图片描述
4.测试—输入 mvn help:system
在这里插入图片描述
5.在Eclipse中关联Maven
在这里插入图片描述
6.更改settings的位置
在这里插入图片描述

7.用Maven创建一个标准化的Java项目
在这里插入图片描述
在这里插入图片描述
7.1 执行mvn clean install
在这里插入图片描述
8. 启动Eclipse,导入刚才创建的项目
9. 修改项目下的pom.xml,增加Hadoop依赖
在这里插入图片描述
在这里插入图片描述
10. 再次执行mvn clean install
在这里插入图片描述
11.从hadoop集群中下载以下三个配置文件
12.修改hdfs-site.xml文件,在之间添加如下内容并上传至hadoop集群
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
13.修改配置本地host—在C:\Windows\System32\drivers\etc下,添加Hadoop的namenode节点地址
在这里插入图片描述
14.添加系统环境变量HADOOP_USER_NAME,值为admin
在这里插入图片描述
在这里插入图片描述

15,修改系统登录用户名为Hadoop的登录用户名:admin
在这里插入图片描述
16.在hadoop集群中修改hdfs的用户权限:hadoop fs -chmod 777 /
在这里插入图片描述
17.启动Hadoop平台
18.App类
在这里插入图片描述

  1. 单元测试setUp和tearDown方法以及使用Java API操作HDFS的常用操作:
    在这里插入图片描述
    在这里插入图片描述
  2. 验证
    (1)创建test文件验证
    在这里插入图片描述
    在这里插入图片描述
    (2)在/user/test目录下创建文件/a.txt的验证
    在这里插入图片描述

在这里插入图片描述(3)将/a.txt重命名为/b.txt的验证
在这里插入图片描述
(3)上传E:/works/hello.txt到HDFS的验证
在这里插入图片描述
在这里插入图片描述
(4)查看某个文件下的所有文件(例如查看/user/test下的所有文件)
在这里插入图片描述
21. Hadoop序列化操作
(1) SequenceFile写操作
在这里插入图片描述
在这里插入图片描述
(2)SequenceFile读操作
在这里插入图片描述
在这里插入图片描述
(4)MapFile写操作
在这里插入图片描述
在这里插入图片描述
注;执行完MapFile写操作后,会在myHadoop该项目下出现MyMapFile文件及文本
在这里插入图片描述
(5)MapFile读操作
在这里插入图片描述
在这里插入图片描述

出现的问题:
Eclipse在导入maven项目是出现了红叉;修改过程中pom又出现了问题;
解决方案:
首先build project,然后点击右键项目,即maven—>update project,
然后发现pom还是有问题,就到这个目录,打开命令行,mvn clean—>mvn eclipse:clean—>mvn eclipse:eclipse;最后点击项目的目录,按shirt加右键,打开powershell,输入mvn clean,接着update project就行了。

猜你喜欢

转载自blog.csdn.net/weixin_43853006/article/details/90664450