day06笔记

**********************************************
课程回顾：
（1）免密码登录--ssh 所有的拷贝包括自己。
（2）Hadoop 全分布式安装。---重复格式化 scp拷贝（没有删掉原来的文件。）
（3）HDFS的体系架构--namenode datanode secondarydatanode。
（4）看日志：
/opt/moudle/hadoop-2.7.3/logs vi shift+G
**********************************************
1、HDFS-Web Console
(1) Overview--展示HDFS的基本信息
Safemode is off.---高级特性。
（2）DataNodes-数据节点信息
增加和删除数据节点（Decomissioning-->Dead）
（3）Datanode Volume Failures--数据节点硬件错误
（4）Snapshot---高级特性
快照实现数据的备份，防止数据的误操作和丢失。默认是关闭的。
（5）Startup Progress--启动过程
![](startup.png)
（6）Uitlities:
Browse 文件 ---hdfs -dfs -ls /
logs---查看日志。
2、HDFS 普通操作命令--hdfs dfs(hadoop fs) ***
（1）创建目录--mkdir
hdfs dfs -mkdir /
(2)查看--ls
查看目录和子目录 hdfs dfs -ls -R /
hdfs dfs -lsr /
（3）上传数据
-put ：
-copyFromLocal：本地路径 hdfs路径
hdfs dfs -copyFromLocal ~/temp/a.txt /test0113/
-moveFromLocal: 会删除本地文件剪切
（4）下载数据
-get:
-copyToLocal:从HDFS下载到本地
（5）删除数据
-rm
-rmr: 删除HDFS的目录和子目录
删除日志： Deleted /test0113
回收站---高级特性默认是关闭。
（6）合并数据--（为hive表数据操作做准备。）
-getmerge :把某个HDFS的目录下的文件进行先合并后下载
*：通配符？
hdfs dfs -getmerge /students /root/students.txt
（7）计数和文件大小
-count 显示文件夹、文件个数文件总的大小
-du 显示每个文件夹和文件的大小
[root@bigdata124 ~]# hdfs dfs -count /students
1 4 63 /students
[root@bigdata124 ~]# hdfs dfs -du /students
25 /students/students01.txt
13 /students/students02.txt
13 /students/students03.txt
12 /students/students04.txt
（8）负载均衡 balancer
实现datanode 数据存储均衡。
## hdfs balancer ##
3、HDFS 管理员命令
（1）hdfs dfsadmin -report 打印报告
（2） -safemode <enter | leave | get | wait>
enter:手动进入安全模式
leave:手动离开安全模式
get:获得当前安全模式的状态
（3）快照命令
[-allowSnapshot <snapshotDir>]
[-disallowSnapshot <snapshotDir>]
（4）Quota 配额
a、名称配额--数量
[-setQuota <quota> <dirname>...<dirname>]
[-clrQuota <dirname>...<dirname>]
b、空间配额--空间大小
[-setSpaceQuota <quota> [-storageType <storagetype>] <dirname>...<dirname>]
[-clrSpaceQuota [-storageType <storagetype>] <dirname>...<dirname>]
4、IDEA Maven工程简介
（1）IDEA 下载地址：https://www.jetbrains.com/idea/download/
破解方法自行查找。Ultimate
（2）File-new Project->Maven
GroupID: 公司名字
artifactId：工程名字。
java程序在：src-》main->java 右键新建 java class文件
target: 是运行程序生成的class文件
（3）管理包
/opt/moudle/hadoop-2.7.3/share/hadoop/common/*.jar
/opt/moudle/hadoop-2.7.3/share/hadoop/common/lib/*.jar
/opt/moudle/hadoop-2.7.3/share/hadoop/hdfs/*.jar
/opt/moudle/hadoop-2.7.3/share/hadoop/hdfs/lib/*.jar

通过maven只需要配置POM文件。
a、下载一个maven版本
http://maven.apache.org/index.html，
b、通过 File-settings-Maven
修改： D:\TZ\apache-maven-3.6.0-bin\apache-maven-3.6.0\conf\settings.xml
55行：<localRepository>D:\TZ\m2\Repository</localRepository>
MaveHome：D:\TZ\apache-maven-3.6.0-bin\apache-maven-3.6.0
User settings:D:\TZ\apache-maven-3.6.0-bin\apache-maven-3.6.0\conf\settings.xml
c、POM中写入包的依赖
参考：https://mvnrepository.com/search?q=hadoop
<dependencies>

<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.7.3</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.7.3</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.7.3</version>
</dependency>
</dependencies>
5、java API 实现HDFS的文件夹创建。

*******************************************************************************
作业：（1）下载破解 IDEA
（2）创建Maven工程，跑通老师的代码。
******************************************************************************
### Permission denied: user=Young, access=WRITE, inode="/test0113" ###
6、java API 实现HDFS的文件上传

7、java API 实现HDFS的文件下载

猜你喜欢