一。 HDFS概念

1.1 概念

HDFS是一个分布式文件系统，用于存储文件，通过目录树来定位文件，适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。

1.2 组成

1）HDFS集群包括，NameNode和DataNode以及Secondary Namenode。

2）NameNode负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。

3）DataNode 负责管理用户的文件数据块，每一个数据块都可以在多个datanode上存储多个副本。

4）Secondary NameNode用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。

1.3 HDFS 文件块大小

HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M。

HDFS的块比磁盘的块大，其目的是为了最小化寻址开销，且传输一个由多个块组成的文件的时间取决于磁盘传输速率。

如果寻址时间约为10ms，而传输速率为100MB/s，为了使寻址时间仅占传输时间的1%，我们要将块大小设置约为100MB。默认的块大小实际为64MB，但是很多情况下HDFS使用128MB的块设置。

块的大小：10ms*100*100M/s = 100M

二。HFDS命令行操作

1）基本语法

hadoop fs 具体命令

2）参数大全

3）常用命令实操

（1）-help：输出这个命令参数

（2）-ls: 显示目录信息

（3）-mkdir：在hdfs上创建目录

hadoop fs -mkdir -p /aaa/bbb/cc/dd

（4）-moveFromLocal从本地剪切粘贴到hdfs

hadoop fs - moveFromLocal /home/hadoop/a.txt /aaa/bbb/cc/dd

（5）-moveToLocal：从hdfs剪切粘贴到本地

hadoop fs - moveToLocal /aaa/bbb/cc/dd /home/hadoop/a.txt

（6）--appendToFile ：追加一个文件到已经存在的文件末尾

hadoop fs -appendToFile ./hello.txt /hello.txt

（7）-cat ：显示文件内容

hadoop fs -cat /hello.txt

（8）-tail：显示一个文件的末尾

hadoop fs -tail /weblog/access_log.1

（9）-text：以字符形式打印一个文件的内容

hadoop fs -text /weblog/access_log.1

（10）-chgrp 、-chmod、-chown：linux文件系统中的用法一样，修改文件所属权限

hadoop fs -chmod 666 /hello.txt

hadoop fs -chown someuser:somegrp /hello.txt

（11）-copyFromLocal：从本地文件系统中拷贝文件到hdfs路径去

hadoop fs -copyFromLocal ./jdk.tar.gz /aaa/

（12）-copyToLocal：从hdfs拷贝到本地

hadoop fs -copyToLocal /aaa/jdk.tar.gz

（13）-cp ：从hdfs的一个路径拷贝到hdfs的另一个路径

hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2

（14）-mv：在hdfs目录中移动文件

hadoop fs -mv /aaa/jdk.tar.gz /

（15）-get：等同于copyToLocal，就是从hdfs下载文件到本地

hadoop fs -get /aaa/jdk.tar.gz

（16）-getmerge ：合并下载多个文件，比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,...

hadoop fs -getmerge /aaa/log.* ./log.sum

（17）-put：等同于copyFromLocal

hadoop fs -put /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2

（18）-rm：删除文件或文件夹

hadoop fs -rm -r /aaa/bbb/

（19）-rmdir：删除空目录

hadoop fs -rmdir /aaa/bbb/ccc

（20）-df ：统计文件系统的可用空间信息

hadoop fs -df -h /

（21）-du统计文件夹的大小信息

hadoop fs -du -s -h /aaa/*

（22）-count：统计一个指定目录下的文件节点数量

hadoop fs -count /aaa/

（23）-setrep：设置hdfs中文件的副本数量

hadoop fs -setrep 3 /aaa/jdk.tar.gz

这里设置的副本数只是记录在namenode的元数据中，是否真的会有这么多副本，还得看datanode的数量。

三。HDFS客户端操作

3.1 一个完整的Java操作，在hdfs上创建目录

package com.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;

public class HDFSApp {
    public static final String HDFS_PATH ="hdfs://hadoop102:9000";

    Configuration configuration = null ;
    FileSystem fileSystem = null;

    @Before
    public void setUp() throws Exception {
        System.out.println("HDFSApp.setUp()");
        configuration = new Configuration();
        fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration);
    }

    @After
    public void tearDown(){
        fileSystem = null;
        configuration = null;
        System.out.println("HDFSApp.tearDown()");
    }

    // 创建目录，不会覆盖已经存在的目录
    @Test
    public void mkdir() throws IOException {
        fileSystem.mkdirs(new Path("/hdfsApi/test"));
    }
}

可以查看到hdfs创建的目录

3.2 通过API操作HDFS

3.2.1 HDFS获取文件系统

1）详细代码

    @Test
    public void initHDFS() throws Exception{
        // 1 创建配置信息对象
        // new Configuration();的时候，它就会去加载jar包中的hdfs-default.xml
        // 然后再加载classpath下的hdfs-site.xml
        Configuration configuration = new Configuration();
        
        // 2 设置参数 
        // 参数优先级： 1、客户端代码中设置的值  2、classpath下的用户自定义配置文件 3、然后是服务器的默认配置
        //  configuration.set("fs.defaultFS", "hdfs://hadoop102:9000");
        configuration.set("dfs.replication", "3");
        
        // 3 获取文件系统
        FileSystem fs = FileSystem.get(configuration);
        
        // 4 打印文件系统
        System.out.println(fs.toString());
    }

2）将core-site.xml拷贝到项目的根目录下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<!-- 指定HDFS中NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:9000</value>
    </property>

    <!-- 指定hadoop运行时产生文件的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop/data/tmp</value>
    </property>
</configuration>

3.2.2 HDFS文件上传

    @Test
    public void putFileToHDFS() throws Exception{
        // 1 创建配置信息对象
        Configuration configuration = new Configuration();
        
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"),configuration, "gh");
        
        // 2 创建要上传文件所在的本地路径
        Path src = new Path("e:/hello.txt");
        
        // 3 创建要上传到hdfs的目标路径
        Path dst = new Path("hdfs://hadoop102:9000/user/gh/hello.txt");
        
        // 4 拷贝文件
        fs.copyFromLocalFile(src, dst);
        fs.close();    
}

3.2.3 HDFS文件下载

@Test
public void getFileFromHDFS() throws Exception{
        
    // 1 创建配置信息对象
    Configuration configuration = new Configuration();
        
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"),configuration, "gh");    
    
//    fs.copyToLocalFile(new Path("hdfs://hadoop102:9000/user/gh/hello.txt"), new Path("d:/hello.txt"));
    // boolean delSrc 指是否将原文件删除
    // Path src 指要下载的文件路径
    // Path dst 指将文件下载到的路径
    // boolean useRawLocalFileSystem 是否开启文件效验
    // 2 下载文件
    fs.copyToLocalFile(false, new Path("hdfs://hadoop102:9000/user/gh/hello.txt"), new Path("e:/hellocopy.txt"), true);
    fs.close();
}

3.2.4 HDFS目录创建

    @Test
    public void mkdirAtHDFS() throws Exception{
        // 1 创建配置信息对象
        Configuration configuration = new Configuration();
        
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"),configuration, "gh");    
        
        //2 创建目录
        fs.mkdirs(new Path("hdfs://hadoop102:9000/user/gh/output"));
    }

3.2.5 HDFS文件夹删除

    @Test
    public void deleteAtHDFS() throws Exception{
        // 1 创建配置信息对象
        Configuration configuration = new Configuration();
        
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"),configuration, "gh");    
        
        //2 删除文件夹 ，如果是非空文件夹，参数2必须给值true
        fs.delete(new Path("hdfs://hadoop102:9000/user/gh/output"), true);
    }

3.2.6 HDFS文件名更改

    @Test
    public void renameAtHDFS() throws Exception{
        // 1 创建配置信息对象
        Configuration configuration = new Configuration();
        
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"),configuration, "gh");
        
        //2 重命名文件或文件夹
        fs.rename(new Path("hdfs://hadoop102:9000/user/gh/hello.txt"), new Path("hdfs://hadoop102:9000/user/gh/hellonihao.txt"));
    }

3.2.7 HDFS文件详情查看

@Test
public void readListFiles() throws Exception {
    // 1 创建配置信息对象
    Configuration configuration = new Configuration();
        
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"),configuration, "gh");
        
    // 思考：为什么返回迭代器，而不是List之类的容器
    RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);

    while (listFiles.hasNext()) {
        LocatedFileStatus fileStatus = listFiles.next();
            
        System.out.println(fileStatus.getPath().getName());
        System.out.println(fileStatus.getBlockSize());
        System.out.println(fileStatus.getPermission());
        System.out.println(fileStatus.getLen());
            
        BlockLocation[] blockLocations = fileStatus.getBlockLocations();
            
        for (BlockLocation bl : blockLocations) {
                
            System.out.println("block-offset:" + bl.getOffset());
                
            String[] hosts = bl.getHosts();
                
            for (String host : hosts) {
                System.out.println(host);
            }
        }
            
        System.out.println("----------------------------");
    }
    }

3.2.8 HDFS文件夹查看

@Test
public void findAtHDFS() throws Exception, IllegalArgumentException, IOException{
        
    // 1 创建配置信息对象
    Configuration configuration = new Configuration();
        
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"),configuration, "gh");
        
    // 2 获取查询路径下的文件状态信息
    FileStatus[] listStatus = fs.listStatus(new Path("/"));

    // 3 遍历所有文件状态
    for (FileStatus status : listStatus) {
        if (status.isFile()) {
            System.out.println("f--" + status.getPath().getName());
        } else {
            System.out.println("d--" + status.getPath().getName());
        }
    }
}

3.3 通过IO流操作HDFS

3.3.1 HDFS文件上传

    @Test
    public void putFileToHDFS() throws Exception{
        // 1 创建配置信息对象
        Configuration configuration = new Configuration();
        
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"),configuration, "gh");
        
        // 2 创建输入流
        FileInputStream inStream = new FileInputStream(new File("e:/hello.txt"));
        
        // 3 获取输出路径
        String putFileName = "hdfs://hadoop102:9000/user/gh/hello1.txt";
        Path writePath = new Path(putFileName);

        // 4 创建输出流
        FSDataOutputStream outStream = fs.create(writePath);

        // 5 流对接
        try{
            IOUtils.copyBytes(inStream, outStream, 4096, false);
        }catch(Exception e){
            e.printStackTrace();
        }finally{
            IOUtils.closeStream(inStream);
            IOUtils.closeStream(outStream);
        }
    }

3.3.2 HDFS文件下载

    @Test
    public void getFileToHDFS() throws Exception{
        // 1 创建配置信息对象
        Configuration configuration = new Configuration();
        
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"),configuration, "gh");
        
        // 2 获取读取文件路径
        String filename = "hdfs://hadoop102:9000/user/gh/hello1.txt";
        
        // 3 创建读取path
        Path readPath = new Path(filename);
        
        // 4 创建输入流
        FSDataInputStream inStream = fs.open(readPath);
        
        // 5 流对接输出到控制台
        try{
            IOUtils.copyBytes(inStream, System.out, 4096, false);
        }catch(Exception e){
            e.printStackTrace();
        }finally{
            IOUtils.closeStream(inStream);
        }
    }

3.3.3 定位文件读取

1）下载第一块

@Test
// 定位下载第一块内容
public void readFileSeek1() throws Exception {

    // 1 创建配置信息对象
    Configuration configuration = new Configuration();

    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "gh");

    // 2 获取输入流路径
    Path path = new Path("hdfs://hadoop102:9000/user/gh/tmp/hadoop.tar.gz");

    // 3 打开输入流
    FSDataInputStream fis = fs.open(path);

    // 4 创建输出流
    FileOutputStream fos = new FileOutputStream("e:/hadoop.tar.gz.part1");

    // 5 流对接
    byte[] buf = new byte[1024];
    for (int i = 0; i < 128 * 1024; i++) {
        fis.read(buf);
        fos.write(buf);
    }

    // 6 关闭流
    IOUtils.closeStream(fis);
    IOUtils.closeStream(fos);
    }

2）下载第二块

    @Test
    // 定位下载第二块内容
    public void readFileSeek2() throws Exception{
        
        // 1 创建配置信息对象
        Configuration configuration = new Configuration();

        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "gh");
        
        // 2 获取输入流路径
        Path path = new Path("hdfs://hadoop102:9000/user/gh/tmp/hadoop.tar.gz");
        
        // 3 打开输入流
        FSDataInputStream fis = fs.open(path);
        
        // 4 创建输出流
        FileOutputStream fos = new FileOutputStream("e:/hadoop.tar.gz.part2");
        
        // 5 定位偏移量（第二块的首位）
        fis.seek(1024 * 1024 * 128);
        
        // 6 流对接
        IOUtils.copyBytes(fis, fos, 1024);
        
        // 7 关闭流
        IOUtils.closeStream(fis);
        IOUtils.closeStream(fos);
    }

3）合并文件

在window命令窗口中执行

type hadoop.tar.gz.part2 >> hadoop.tar.gz.part1

Hadoop之HDFS基础

一。 HDFS概念

1.1 概念

1.2 组成

1.3 HDFS 文件块大小

二。HFDS命令行操作

三。HDFS客户端操作

3.1 一个完整的Java操作，在hdfs上创建目录

3.2 通过API操作HDFS

3.2.1 HDFS获取文件系统

3.2.2 HDFS文件上传

3.2.3 HDFS文件下载

3.2.4 HDFS目录创建

3.2.5 HDFS文件夹删除

3.2.6 HDFS文件名更改

3.2.7 HDFS文件详情查看

3.2.8 HDFS文件夹查看

3.3 通过IO流操作HDFS

3.3.1 HDFS文件上传

3.3.2 HDFS文件下载

3.3.3 定位文件读取

四。HDFS的数据流

猜你喜欢

Hadoop之HDFS基础

一。 HDFS概念

1.1 概念

1.2 组成

1.3 HDFS 文件块大小

二 。HFDS命令行操作

三。HDFS客户端操作

3.1 一个完整的Java操作，在hdfs上创建目录

3.2 通过API操作HDFS

3.2.1 HDFS获取文件系统

3.2.2 HDFS文件上传

3.2.3 HDFS文件下载

3.2.4 HDFS目录创建

3.2.5 HDFS文件夹删除

3.2.6 HDFS文件名更改

3.2.7 HDFS文件详情查看

3.2.8 HDFS文件夹查看

3.3 通过IO流操作HDFS

3.3.1 HDFS文件上传

3.3.2 HDFS文件下载

3.3.3 定位文件读取

四。HDFS的数据流

猜你喜欢

二。HFDS命令行操作