六：HDFS -JavaAPI

HDFS结构介绍
HDFS是Hadoop提供的基于分布式的文件存储系统。全称为Hadoop Distributed File System。主要由NameNode、DataNode两类节点构成。其中NameNode节点的主要功能是管理系统的元数据，负责管理文件系统的命令空间，记录文件数据块在DataNode节点上的位置和副本信息，协调客户端对文件系统的访问，以及记录命名空间的改动和本身属性的变动。DataNode节点的主要功能就是负责节点所在物理节点上的存储管理。
HDFS结构示意图
HDFS文件系统介绍
Hadoop提供的操作HDFS的api接口是以FileSystem为基础的，在该类中提供一系列操作文件的方法，比如：文件上传copyFromLocalFile方法，创建文件create方法，删除文件delete方法等。该类的全称为org.apache.hadoop.fs.FileSystem。主要的子类有：DistributedFileSystem, WebHdfsFileSystem等。
通过FileSystem访问远程集群一般情况下需要给定配置信息，Hadoop通过自定义的Configuration类来给定hadoop相关的连接信息。Configuration采用延迟加载的模式来加载配置信息，加载顺序是按照代码顺序加载，但是如果在代码中强制指定的话，那么会覆盖文件中的加载。
Java API介绍
官方API文档:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.6.0/api/index.html
1.HDFS创建空文件夹
方法：createNewFile
参数：
f:指定要创建文件的路径，可以为相对路径。
返回值：如果创建成功返回true。否则返回false。

import java.io.BufferedWriter;
import java.io.IOException;
import java.io.OutputStreamWriter;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import junit.framework.TestCase;

public class TestCreate   extends TestCase{

    /**
     * 创建目录与文件，写入数据
     * @throws IOException
     */
    @Test
    public void test1() throws IOException{
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://192.168.83.189:9000");
        FileSystem fs = FileSystem.get(conf);
        FSDataOutputStream dos = fs.create(new Path("/edu/api/1.txt"));
        BufferedWriter bw = new BufferedWriter(new OutputStreamWriter(dos));
        bw.write("HDFS学习实例");
        bw.newLine();
        bw.write("hadoop离线数据分析");
        bw.close();
        dos.close();
        fs.close();
    }

    @Test
    public void test2() throws IOException{
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://192.168.83.189:9000");
        FileSystem fs = FileSystem.get(conf);
        BufferedWriter bw = new BufferedWriter(new OutputStreamWriter(fs.create(new Path("/edu/api/2.txt"), (short)1)));
        bw.write("测试数据");
        bw.close();
        fs.close();
    }

}

2.HDFS写文件
方法：append
参数：
f:指定要写出文件的路径，可以为相对路径。
bufferSize: 缓冲区大小
返回值：如果创建成功获得FSDataOutputStream输出流，否则出现异常信息。

3.HDFS创建文件并输出文件内容
方法：create
参数：
f:指定要创建文件的路径，可以为相对路径。
permission:指定文件权限，默认为644(rw-r–r–)。
overwrite: 是否覆盖，默认覆盖。
bufferSize: 进行写过程中缓存区大小，默认4096。
replication: 备份个数，默认3。
blockSize: 块大小，默认128MB。
progress: 进程通知对象，默认为空。
返回值：如果创建成功，返回FSDataOutputStream对象；否则出现异常信息。
4.HDFS读文件内容
方法：open
参数：
f:指定要读取的文件路径，可以为相对路径。
bufferSize: 缓冲区大小。
返回值：如果创建成功获得FSDataInputStream输出流，否则出现异常信息。
5.HDFS创建文件夹
方法：mkdirs
参数：
f:指定要创建的文件夹路径，可以为相对路径。
permission: 指定创建文件的权限，默认755。
返回值：如果创建成功则返回true；否则返回false
6.HDFS上传文件
方法：copyFromLocal
参数：
delSrc:是否删除本地文件，默认true。
overwrite:当目标文件存在的时候，是否覆盖，默认true。
srcs/src:本地文件，可以指定为数组或者单个文件。
dst:集群存储文件。
返回值：无，如果操作失败，会产生异常信息。
其他类似方法：
moveFromLocal从本地移动文件到集群上。
copyToLocal从集群上复制文件到本地。
moveToLocal从集群上移动文件到本地。
7.HDFS删除文件
方法：delete
参数：
f:要删除的文件路径，可以为绝对路径。
recursive:是否进行递归删除，默认为true。
返回值：如果文件不存在，则返回false。如果指定recursive为false，而且要删除的文件夹不为空，那么抛出异常，如果删除成功返回true。
其他删除方法：
deleteOnExit: 如果存在则返回true，并标记删除，如果不存在，则返回false。
测试代码:
HDFS上下文配置信息初始化类:HdfsUtil

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;

public class HdfsUtil {
    public static Configuration getCofiguration() {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://192.168.83.189:9000");
        return conf;
    }

    public static FileSystem getFileSystem() throws IOException {
        return getFileSystem(getCofiguration());
    }

    public static FileSystem getFileSystem(Configuration conf) throws IOException {
        return FileSystem.get(conf);
    }
}

Junit测试类:


import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;

import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import com.bf.hadoop.hdfs.util.HdfsUtil;

import junit.framework.TestCase;

public class HdfsApiDemo extends TestCase {

    /**
     * 创建目录
     * 
     * @throws Exception
     */
    @Test
    public void testMkdir() throws Exception {
        FileSystem fs = HdfsUtil.getFileSystem();
        boolean mkdirsed = fs.mkdirs(new Path("/edu/api/mkdirs"));
        System.out.println(mkdirsed);
        fs.close();
    }

    /**
     * 从本地复制到HDFS相应目录
     * 
     * @throws Exception
     */
    @Test
    public void testCopyFromLocal() throws Exception {
        FileSystem fs = HdfsUtil.getFileSystem();
        fs.copyFromLocalFile(new Path("F:/data/1.txt"), new Path("/edu/api/3.txt"));
        fs.close();
    }

    /**
     * 从HDFS下载到本地
     * 
     * @throws Exception
     */
    @Test
    public void testCopyToLocal() throws Exception {
        FileSystem fs = HdfsUtil.getFileSystem();
        fs.copyToLocalFile(new Path("/edu/api/2.txt"), new Path("F:/data/5.txt"));
        fs.close();
    }

    /**
     * 追加数据
     * 
     * @throws Exception
     */
    @Test
    public void testAppend() throws Exception {
        FileSystem fs = HdfsUtil.getFileSystem();
        Path path = new Path("/edu/api/2.txt");
        FSDataOutputStream dos = fs.append(path);
        dos.write("追加的数据".getBytes());
        dos.close();
        fs.close();
    }

    /**
     * 获得文件或者目录的状态
     * 
     * @throws Exception
     */
    @Test
    public void testGetFileStatus() throws Exception {
        FileSystem fs = HdfsUtil.getFileSystem();
        FileStatus status = fs.getFileStatus(new Path("/edu/api/1.txt"));
        System.out.println(status.isDirectory() ? "是文件夹" : "是文件");
        System.out.println("提交时间:" + status.getAccessTime());
        System.out.println("复制因子:" + status.getReplication());
        System.out.println("长度:" + status.getLen());
        System.out.println("最后修改时间:" + status.getModificationTime());
        fs.close();

    }

    /**
     * 打开文件读取数据
     * 
     * @throws Exception
     */
    @Test
    public void testOpen() throws Exception {
        FileSystem fs = HdfsUtil.getFileSystem();
        InputStream is = fs.open(new Path("/edu/api/1.txt"));
        BufferedReader br = new BufferedReader(new InputStreamReader(is));
        String line = null;
        while ((line = br.readLine()) != null) {
            System.out.println(line);
        }
        br.close();
        is.close();
        fs.close();
    }

    @Test
    public void testDel() throws Exception, IOException {
        FileSystem fs = HdfsUtil.getFileSystem();
        boolean deleted = fs.delete(new Path("/edu/api/3.txt"), true);
        // boolean deleted = fs.delete(new
        // Path("/beifeng/api/createNewFile1.txt"), true);
        System.out.println("Delete方法删除" + deleted);
        deleted = fs.deleteOnExit(new Path("/edu/api/4.txt"));
        // deleted = fs.deleteOnExit(new Path("/beifeng/api/3.txt"));
        System.out.println("DeleteOnExit方法删除:" + deleted);
        System.in.read();
        fs.close();
    }

}

以上为hdfs javaAPI基本操作介绍!

猜你喜欢