title: Hadoop系列007-HDFS客户端操作
date: 2018-12-6 15:52:55
updated: 2018-12-6 15:52:55
categories: Hadoop
tags: [Hadoop,HDFS,HDFS客户端]


本人微信公众号,欢迎扫码关注!

HDFS客户端操作

1 环境准备

1.1 Jar包准备

1)解压hadoop-2.7.2.tar.gz到非中文目录

注意1:如果使用WinRAR解压报错的话,就使用超级管理员权限打开DOS窗口,然后cd到解压包所在位置,执行start winrar x -y xxx.tar.gz命令,即可成功

注意2:使用对应平台下编译后的hadoop源码包,即win7系统使用在win7下编译后的源码包,win10同理。

2)进入share文件夹,查找所有jar包,并把jar包拷贝到_lib文件夹下

3)在全部jar包中查找.source.jar,并剪切到_source文件夹。

4)在全部jar包中查找tests.jar,并剪切到_test文件夹。

1.2 IDEA准备

1)配置HADOOP_HOME环境变量

2)建立工程并且添加依赖

注意:Eclipse全选Jar包右键Add Build Path

3)编写代码测试

4)执行程序

客户端去操作hdfs时,是有一个用户身份的。默认情况下,hdfs客户端api会从jvm中获取一个参数来作为自己的用户身份:-DHADOOP_USER_NAME=atguigu,atguigu为用户名称。

5)验证

2 通过API操作HDFS

2.1 HDFS获取文件系统
@Test
public void getFileSystem() {
    // 1 创建配置对象
    Configuration conf = new Configuration();
    // 2 获取文件系统
    FileSystem fs = null;
    try {
        fs = FileSystem.get(new URI("hdfs://hadoop102:8020"), conf, "intflag");

        // 3 打印文件系统
        System.out.println(fs);
    } catch (IOException e) {
        e.printStackTrace();
    } catch (InterruptedException e) {
        e.printStackTrace();
    } catch (URISyntaxException e) {
        e.printStackTrace();
    } finally {
        if (fs != null) {
            try {
                fs.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
}

2.2 HDFS文件上传
@Test
public void putFileToHDFS() {
    // 1 获取文件系统
    FileSystem fs = getFileSystem();
    // 2 上传文件
    try {
        fs.copyFromLocalFile(true,new Path("D:/test/x3.000"), new Path("/user/intflag/input/x3.000"));
    } catch (IOException e) {
        e.printStackTrace();
    } finally {
        // 3 关闭资源
        closeFileSystem(fs);
    }
}
2.3 HDFS文件下载
@Test
public void getFileFromHDFS() {
    // 1 获取文件系统
    FileSystem fs = getFileSystem();
    // 2 下载文件
    try {
        fs.copyToLocalFile(new Path("/user/intflag/input/x3.000"),new Path("D:/test/x3.000"));
    } catch (IOException e) {
        e.printStackTrace();
    } finally {
        // 3 关闭资源
        closeFileSystem(fs);
    }
}
2.4 HDFS目录创建
/**
 * 在HDFS上创建文件夹
 */
@Test
public void mkdirAtHDFS() {
    // 1 获取文件系统
    FileSystem fs = getFileSystem();
    // 2 创建文件夹
    try {
        fs.mkdirs(new Path("/user/intflag/test"));
    } catch (IOException e) {
        e.printStackTrace();
    } finally {
        // 3 关闭资源
        closeFileSystem(fs);
    }
}
2.5 HDFS文件夹删除
/**
 * 删除HDFS上的文件夹
 */
@Test
public void deleteDirAtHDFS() {
    // 1 获取文件系统
    FileSystem fs = getFileSystem();
    // 2 删除文件夹
    try {
        //fs.delete(new Path("/user/intflag/test"));
        fs.delete(new Path("/user/intflag/test"),true);
    } catch (IOException e) {
        e.printStackTrace();
    } finally {
        // 3 关闭资源
        closeFileSystem(fs);
    }
}
2.6 HDFS文件名更改
/**
 * 重命名HDFS上的文件夹
 */
@Test
public void renameDirAtHDFS() {
    // 1 获取文件系统
    FileSystem fs = getFileSystem();
    // 2 重命名文件夹
    try {
        fs.rename(new Path("/user/intflag/test"), new Path("/user/intflag/test22"));
    } catch (IOException e) {
        e.printStackTrace();
    } finally {
        // 3 关闭资源
        closeFileSystem(fs);
    }
}
2.7 HDFS文件详情查看
/**
 * 读取HDFS上的文件信息
 */
@Test
public void readFileAtHDFS() {
    // 1 获取文件系统
    FileSystem fs = getFileSystem();
    // 2 读取文件信息
    try {
        RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);
        while (listFiles.hasNext()) {
            LocatedFileStatus status = listFiles.next();
            System.out.println("-----------------------------------");
            System.out.println("文件名称:"+status.getPath().getName());
            System.out.println("块的大小:"+status.getBlockSize());
            System.out.println("内容长度:"+status.getLen());
            System.out.println("文件权限:"+status.getPermission());
        }
    } catch (IOException e) {
        e.printStackTrace();
    } finally {
        // 3 关闭资源
        closeFileSystem(fs);
    }
}
-----------------------------------
文件名称:asd.txt
块的大小:134217728
内容长度:34
文件权限:rw-r--r--
-----------------------------------
文件名称:hadoop-2.7.2.tar.gz
块的大小:134217728
内容长度:197657687
文件权限:rw-r--r--
-----------------------------------
文件名称:liugx.txt
块的大小:134217728
内容长度:64
文件权限:rw-r--r--
-----------------------------------
文件名称:x3.000
块的大小:134217728
内容长度:592
文件权限:rw-r--r--

Process finished with exit code 0
2.8 HDFS文件夹查看
/**
 * 读取文件夹信息
 */
@Test
public void readFfolderAtHDFS() {
    // 1 获取文件系统
    FileSystem fs = getFileSystem();
    // 2 读取文件夹信息
    try {
        FileStatus[] listStatus = fs.listStatus(new Path("/user/intflag/"));
        for (FileStatus status : listStatus) {
            if (status.isFile()) {
                System.out.println("f----"+status.getPath().getName());
            } else {
                System.out.println("d----"+status.getPath().getName());
            }
        }
    } catch (IOException e) {
        e.printStackTrace();
    } finally {
        // 3 关闭资源
        closeFileSystem(fs);
    }
}

3 通过IO流操作HDFS

3.1 HDFS文件上传
/**
 * 文件上传到HDFS
 */
@Test
public void putFileToHDFS() {
    // 1 获取HDFS
    FileSystem fs = getFileSystem();

    try {
        // 2 获取输出流
        FSDataOutputStream fos = fs.create(new Path("/user/intflag/input/x3.000"));
        // 3 获取输入流
        FileInputStream fis = new FileInputStream(new File("D:/test/x3.000"));
        // 4 流对接
        IOUtils.copyBytes(fis, fos, new Configuration());
        // 5 关闭流
        IOUtils.closeStream(fis);
        IOUtils.closeStream(fos);
    } catch (IOException e) {
        e.printStackTrace();
    } finally {
        // 5 关闭资源
        closeFileSystem(fs);
    }
}
3.2 HDFS文件下载
/**
 * 下载文件
 */
@Test
public void getFileFromHDFS() {
    // 1 获取HDFS
    FileSystem fs = getFileSystem();

    try {
        // 2 获取输入流
        FSDataInputStream fis = fs.open(new Path("/user/intflag/input/liugx.txt"));

        // 3 获取输出流
        FileOutputStream fos = new FileOutputStream(new File("D:/test/liugx.txt"));

        // 4 流对接
        IOUtils.copyBytes(fis, fos, new Configuration());
        // 5 关闭流
        IOUtils.closeStream(fis);
        IOUtils.closeStream(fos);
    } catch (IOException e) {
        e.printStackTrace();
    } finally {
        // 5 关闭资源
        closeFileSystem(fs);
    }
}
3.3 定位文件读取

下载第一块

/**
 * 下载大文件-下载第一块
 */
@Test
public void getFileFromHDFSSeek1() {
    // 1 获取HDFS
    FileSystem fs = getFileSystem();

    try {
        // 2 获取输入流
        FSDataInputStream fis = fs.open(new Path("/user/intflag/input/hadoop-2.7.2.tar.gz"));

        // 3 获取输出流
        FileOutputStream fos = new FileOutputStream(new File("D:/test/hadoop-2.7.2.tar.gz.part1"));

        // 4 流对接(只读取128m)
        byte[] buff = new byte[1024];
        //1024 * 1024 * 128
        int len = 1024 * 128;
        for (int i = 0; i < len; i++) {
            fis.read(buff);
            fos.write(buff);
        }
        // 5 关闭流
        IOUtils.closeStream(fis);
        IOUtils.closeStream(fos);
    } catch (IOException e) {
        e.printStackTrace();
    } finally {
        // 5 关闭资源
        closeFileSystem(fs);
    }
}

下载第二块

/**
 * 下载大文件-下载第二块
 */
@Test
public void getFileFromHDFSSeek2() {
    // 1 获取HDFS
    FileSystem fs = getFileSystem();

    try {
        // 2 获取输入流
        FSDataInputStream fis = fs.open(new Path("/user/intflag/input/hadoop-2.7.2.tar.gz"));

        // 3 获取输出流
        FileOutputStream fos = new FileOutputStream(new File("D:/test/hadoop-2.7.2.tar.gz.part2"));

        // 4 流对接(只读取128m)
        // 定位到128m
        int len = 1024 * 1024 * 128;
        fis.seek(len);
        IOUtils.copyBytes(fis,fos,new Configuration());

        // 5 关闭流
        IOUtils.closeStream(fis);
        IOUtils.closeStream(fos);
    } catch (IOException e) {
        e.printStackTrace();
    } finally {
        // 5 关闭资源
        closeFileSystem(fs);
    }
}

合并文件

打开DOS窗口,定位到下载后的位置,输入以下命令合并文件
type hadoop-2.7.2.tar.gz.part2 >> hadoop-2.7.2.tar.gz.part1
然后重命名文件hadoop-2.7.2.tar.gz.part1,将文件.part1去掉
打开文件验证
内容来源于网络如有侵权请私信删除
你还没有登录,请先登录注册
  • 还没有人评论,欢迎说说您的想法!