hadoop集群命令操作支hdfs

编程语言 2024-11-05 00:00
0 阅读

​

  1. HDFS前言
    设计思想
    分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析；

     在大数据系统中作用：


 重点概念：文件切块，副本存放，元数据，心跳机制

  2. HDFS的概念和特性
    首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件。

     其次，它是分布式的，由很多服务器联合起来实现其功能，namenode集群中的服务器有各自的角色。

重要特性如下：

HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M, 寻址时间是输出时间的1%
HDFS文件系统会给客户端提供一个统一的抽象目录树，客户端通过路径来访问文件，形如：hdfs://namenode:port/dir-a/dir-b/dir-c/file.data
hdfs://192.168.80.131:xxx/xxx/xxx/xxx/文件名

目录结构及文件分块信息(元数据)的管理由namenode节点承担
——namenode是HDFS集群主节点（master），负责维护整个hdfs文件系统的目录树，以及每一个路径（文件）所对应的block块信息（block的id，及所在的datanode服务器）

文件的各个block的存储管理由datanode节点承担
---- datanode是HDFS集群从节点，每一个block都可以在多个datanode上存储多个副本（副本数量也可以通过参数设置dfs.replication）

HDFS是设计成适应一次写入，多次读出的场景，且不支持文件的修改。
(注：适合用来做数据分析，并不适合用来做网盘应用，因为，不便修改，延迟大，网络开销大，成本太高)

3.HDFS

    HDFS（Hadoop Distributed File System）是Apache Hadoop生态系统中的分布式文件系统。它被设计用于在大规模集群上存储和管理大量数据，具有高容错性和高可靠性的特点。HDFS是Hadoop的核心组件之一，它提供了以下主要功能：

3.1分布式存储：
HDFS将文件分成多个块并存储在多个计算机节点上，以实现数据的分布式存储。这样的设计允许HDFS存储和处理超大规模的数据集，以及处理大量并发读写请求。

3.2容错性：
HDFS通过在集群中的多个节点上保存数据的多个副本来提供容错性。如果某个节点发生故障，可以从其他节点上的副本中获取数据，保证了数据的可靠性和可用性。

3.3高吞吐量：
HDFS具有高吞吐量的特点，可以并行读写大量的数据。这使得HDFS非常适合处理大型数据集和批处理作业。

3.4适用于批处理和流处理：
HDFS不仅适用于存储静态数据集，还能够与流处理系统（如Apache Spark Streaming和Apache Flink）等实时处理框架结合使用，支持实时数据处理。

总的来说，HDFS为大数据处理提供了可靠的基础架构，是构建分布式计算和存储解决方案的重要组成部分。

4.HDFS的命令（shell）
4.1HDFS命令行客户端的使用
HDFS提供shell命令行客户端，使用方法如下：

4.2 命令行客户端支持的命令参数
[-appendToFile … ]

    [-cat [-ignoreCrc] <src> ...]

    [-checksum <src> ...]

    [-chgrp [-R] GROUP PATH...]

    [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]

    [-chown [-R] [OWNER][:[GROUP]] PATH...]

    [-copyFromLocal [-f] [-p] <localsrc> ... <dst>]

    [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]

    [-count [-q] <path> ...]

    [-cp [-f] [-p] <src> ... <dst>]

    [-createSnapshot <snapshotDir> [<snapshotName>]]

    [-deleteSnapshot <snapshotDir> <snapshotName>]

    [-df [-h] [<path> ...]]

    [-du [-s] [-h] <path> ...]

    [-expunge]

    [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]

    [-getfacl [-R] <path>]

    [-getmerge [-nl] <src> <localdst>]

    [-help [cmd ...]]

    [-ls [-d] [-h] [-R] [<path> ...]]

    [-mkdir [-p] <path> ...]

    [-moveFromLocal <localsrc> ... <dst>]

    [-moveToLocal <src> <localdst>]

    [-mv <src> ... <dst>]

    [-put [-f] [-p] <localsrc> ... <dst>]

    [-renameSnapshot <snapshotDir> <oldName> <newName>]

    [-rm [-f] [-r|-R] [-skipTrash] <src> ...]

    [-rmdir [--ignore-fail-on-non-empty] <dir> ...]

    [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]

    [-setrep [-R] [-w] <rep> <path> ...]

    [-stat [format] <path> ...]

    [-tail [-f] <file>]

    [-test -[defsz] <path>]

    [-text [-ignoreCrc] <src> ...]

    [-touchz <path> ...]

    [-usage [cmd ...]]

4.2 常用命令参数介绍
（以下演示均为新建空白操作）

-help

功能：输出这个命令参数手册

-ls

功能：显示目录信息

这些参数中，所有的hdfs路径都可以简写

示例：hdfs dfs -ls / 等同于上一条命令的效果

示例：hdfs dfs -ls -R / 递归显示文件夹内容

示例：hdfs dfs -ls -R / | grep abc.txt
如果hdfs中没有文件夹以及文件 没有创建是查询不到的

-count ：统计一个指定目录下的文件节点数量

hdfs dfs -count /user/

-du ：统计文件夹的大小信息

hdfs dfs -du -s -h /user/

mkdir：创建文件夹

–以级联方式创建文件夹
hdfs dfs -mkdir -p /user/tempdata
–创建文件夹

hdfs dfs -mkdir  /user

touchz：创建文件（空文件）

hdfs dfs -touchz /user/tempdata/text1.txt /user/tempdata/text2.txt /user/tempdata/text3.txt

-cp ：从hdfs的一个路径拷贝hdfs的另一个路径

hdfs dfs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2
-mv：在hdfs目录中移动文件

hdfs dfs -mv /user/tempdata/text1.txt /user/tempdata1/text1.txt

-rm ：删除文件或文件夹

–替换成需要删除的文件及文件夹即可 代表删除全部
hdfs dfs -rm -r /user/

-moveFromLocal ：从本地剪切粘贴到hdfs

hdfs dfs -moveFromLocal /home/hadoop/a.txt /user/tempdata/

-moveToLocal 2.6.5不支持 ：从hdfs剪切粘贴到本地

与上面moveFromLocal操作一样 更变下路径即可 反过来操作 在这里就不仔细展示了
-cat

功能：查看文件

 hdfs dfs -cat /user/tempdata/a.txt

-text
功能：查看文件

与cat一样的操作方式 更换下 cat 为 text即可
head
功能：查看文件头部内容

hdfs dfs -cat /user/tempdata/a.txt | head -1

-tail
功能：查看文件尾部内容

 hdfs dfs -tail /user/tempdata/a.txt

-moveFromLocal
功能：从本地剪切粘贴到hdfs
示例：hdfs dfs - moveFromLocal /home/hadoop/a.txt /aaa/bbb/cc/dd

-moveToLocal 2.6.5不支持
功能：从hdfs剪切粘贴到本地
示例：hdfs dfs - moveToLocal /aaa/bbb/cc/dd /home/hadoop/a.txt

-copyFromLocal
功能：从本地文件系统中拷贝文件到hdfs路径去
示例：hdfs dfs -copyFromLocal ./jdk.tar.gz /aaa/

-copyToLocal
功能：从hdfs拷贝到本地
示例：hdfs dfs -copyToLocal /aaa/jdk.tar.gz

-get
功能：等同于copyToLocal，就是从hdfs下载文件到本地
示例：hdfs dfs -get /aaa/jdk.tar.gz

-getmerge
功能：合并下载多个文件
示例：比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,…

hdfs dfs -getmerge /aaa/log.* ./log.sum

-put
功能：等同于copyFromLocal
示例：hdfs dfs -put /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2

-df
功能：统计文件系统的可用空间信息
示例：hdfs dfs -df -h /

-chmod
功能：赋权限
示例：hdfs dfs -chmod 777 /aaa/bbb/ccc/abc.txt

-setrep
功能：设置hdfs中文件的副本数量
示例：hdfs dfs -setrep 3 /aaa/jdk.tar.gz

​

猜你喜欢

目录

热门文章