编程技术是改变世界的力量。
本站
当前位置:网站首页 > 后端语言 > 正文

如何使用Java API操作HDFS系统? hdfs的javaapi操作实验报告总结

gowuye 2024-04-04 11:54 7 浏览 0 评论


1.搭建项目环境

打开Eclipse选择FileàNewàMaven Project创建Maven工程,选择“Create a simple project ”选项,点击【Next】按钮,会进入“New Maven Project”界面,如图1所示。

在图1中,勾选“Create a simple project(skip archetype selection)”表示创建一个简单的项目(跳过对原型模板的选择),然后勾选“User default Workspace location”表示使用本地默认的工作空间之后,点击【Next】按钮,如图2所示。

在图2中,GroupID也就是项目组织唯一的标识符,实际对应Java的包结构,这里输入com.itcast。ArtifactID就是项目的唯一标识符,实际对应项目的名称,就是项目根目录的名称,这里输入HadoopDemo,打包方式这里选择Jar包方式即可,后续创建Web工程选择War包。

此时Maven工程已经被创建好了,会发现在Maven项目中,有一个pom.xml的配置文件,这个配置文件就是对项目进行管理的核心配置文件。

使用Java API操作HDFS需要用到hadoop-common、hadoop-hdfs、hadoop-client三种依赖,同时为了进行单元测试,还要引入junit的测试包,具体代码如文件所示。

文件 pom.xml

   <?xml version="1.0" encoding="UTF-8"?>
   <project xmlns=`http://maven.apache.org/POM/4.0.0`
   xmlns:xsi=`"http://www.w3.org/2001/XMLSchema-instance"`
   xsi:schemaLocation=`"http://maven.apache.org/POM/4.0.0`
   http://maven.apache.org/xsd/maven-4.0.0.xsd"`>
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.itcast</groupId>
    <artifactId>HadoopDemo</artifactId>
    <version>0.0.1-SNAPSHOT</version>
   **<dependencies>**
      **<dependency>**
        **<groupId>org.apache.hadoop</groupId>**
        **<artifactId>hadoop-common</artifactId>**
        **<version>2.7.4</version>**
      **</dependency>**
      **<dependency>**
        **<groupId>org.apache.hadoop</groupId>**
        **<artifactId>hadoop-hdfs</artifactId>**
        **<version>2.7.4</version>**
      **</dependency>**
      **<dependency>**
        **<groupId>org.apache.hadoop</groupId>**
        **<artifactId>hadoop-client</artifactId>**
        **<version>2.7.4</version>**
      **</dependency>**
      **<dependency>**
        **<groupId>junit</groupId>**
        **<artifactId>junit</artifactId>**
        **<version>RELEASE</version>**
      **</dependency>**
    **</dependencies>**
  </project>```

当添加依赖完毕后,Hadoop相关Jar包就会自动下载,部分Jar包如图3所示。

![img](uploads/course/bigData/images/3.4.2/clip_image006-1591775346489.jpg)

> 图3   成功导入Jar包

从图3可以看出,所需要的Hadoop的Jar包所在路径就是setting.xml中配置的本地仓库位置。

**2****.初始化客户端对象**

首先在项目src文件夹下创建com.itcast.hdfsdemo包,并在该包下创建HDFS_CRUD.java文件,编写Java测试类,构建Configuration和FileSystem对象,初始化一个客户端实例进行相应的操作,具体代码如文件3-2所示。

文件  HDFS_CRUD.java

```java
   package com.itcast.hdfsdemo;
   import java.io.*;
   import org.apache.hadoop.conf.Configuration;
   import org.apache.hadoop.fs.*;
   import org.junit.*;
   public class HDFS_CRUD {
     FileSystem fs = null;
     @Before
     public void init() throws Exception {
      // 构造一个配置参数对象,设置一个参数:我们要访问的hdfs的URI
      Configuration conf = new Configuration();
      // 这里指定使用的是HDFS文件系统
      **conf.set("fs.defaultFS", "hdfs://hadoop01:9000")**;
      // 通过如下的方式进行客户端身份的设置
      **System.setProperty("HADOOP_USER_NAME", "root")**;
      // 通过FileSystem的静态方法获取文件系统客户端对象
      fs = FileSystem.get(conf);
    }
  }

在上述代码中,@Before是一个用于在Junit单元测试框架中控制程序最先执行的注解,这里可以保证init()方法在程序中最先执行。

小提示:

FileSystem.get()方法从conf中的设置的参数 fs.defaultFS的配置值,用来设置文件系统类型。如果代码中没有指定为fs.defaultFS,并且工程classpath下也没有给定相应的配置,则conf中的默认值就来自于hadoop-common-2.7.4.jar包中的core-default.xml,默认值为:“file:/// ”,这样获取的不是DistributedFileSystem实例,而是一个本地文件系统的客户端对象。

3.上传文件到HDFS

初始化客户端对象后,接下来实现上传文件到HDFS的功能。由于采用Java测试类来实现JavaApi对HDFS的操作,因此可以在HDFS_CRUD.java文件中添加一个testAddFileToHdfs()方法来演示本地文件上传到HDFS的示例,具体代码如下:

@Test
public void testAddFileToHdfs() throws IOException {
  // 要上传的文件所在本地路径
  Path src = new Path("D:/test.txt");
  // 要上传到hdfs的目标路径
  Path dst = new Path("/testFile");
  // 上传文件方法
  fs.copyFromLocalFile(src, dst);
  // 关闭资源
  fs.close();
}

从上述代码可以看出,可以通过FileSystem对象的copyFromLocalFile()方法,将本地数据上传至HDFS中。copyFromLocalFile()方法接收两个参数,第一个参数是要上传的文件所在的本地路径(需要提前创建),第二个参数是要上传到HDFS的目标路径。

4.从HDFS下载文件到本地

在HDFS_CRUD.java文件中添加一个testDownloadFileToLocal()方法,来实现从HDFS中下载文件到本地系统的功能,具体代码如下:

// 从hdfs中复制文件到本地文件系统

@Test
public void testDownloadFileToLocal() throws IllegalArgumentException,
  IOException {
  // 下载文件
  fs.copyToLocalFile(new Path("/testFile"), new Path("D:/"));
    fs.close();
}

从上述代码可以看出,可以通过FileSystem对象的copyToLocalFile()方法从HDFS上下载文件到本地。copyToLocalFile()方法接收两个参数,第一个参数是HDFS上的文件路径,第二个参数是下载到本地的目标路径。
注意:
在Windows平台开发HDFS项目时,若不设置Hadoop开发环境,则会报以下的错误:

java.io.IOException: (null) entry in command string: null chmod 0644 D:\testFile

解决方式:

(1)根据教材提示,安装配置windows平台hadoop(注意,配置后必须重启电脑),运行没有问题。

(2)直接使用下载的hadoop linux平台下的压缩包进行解压,然后在解压包bin目录下额外添加windows相关依赖文件(winutils.exe、winutils.pdb、hadoop.dll),然后进行hadoop环境变量配置(注意,配置后必须重启电脑),运行同样没有问题。

(3)使用FileSystem自带的方法即使不配置windows平台hadoop也可以正常运行(这种方法下载后就是没有附带一个类似.testFile.crc的校验文件):

fs.copyToLocalFile(false,new Path("/testFile"), new Path("D:/"),true);

5.目录操作

在HDFS_CRUD.java文件中添加一个testMkdirAndDeleteAndRename()方法,实现目录的创建、删除、重命名的功能,具体代码如下:

// 创建,删除,重命名文件

@Test

public void testMkdirAndDeleteAndRename() throws Exception {
  // 创建目录
  fs.mkdirs(new Path("/a/b/c"));
  fs.mkdirs(new Path("/a2/b2/c2"));
  // 重命名文件或文件夹
  fs.rename(new Path("/a"), new Path("/a3"));
  // 删除文件夹,如果是非空文件夹,参数2必须给值true
  fs.delete(new Path("/a2"), true);
}

从上述代码可以看出,可以通过调用FileSystem的mkdirs()方法创建新的目录;调用delete()方法可以删除文件夹,delete()方法接收两个参数,第一个参数表示要删除的文件夹路径,第二个参数用于设置是否递归删除目录,其值为true或false,true表示递归删除,false表示非递归删除;调用rename()方法可以对文件或文件夹重命名,rename()接收两个参数,第一个参数代表需要修改的目标路径,第二个参数代表新的命名。

6.查看目录中的文件信息

在HDFS_CRUD.java文件中添加一个testListFiles()方法,实现查看目录中所有文件的详细信息的功能,代码如下:

// 查看目录信息,只显示文件

@Test

public void testListFiles() throws FileNotFoundException,

  IllegalArgumentException, IOException {

  // 获取迭代器对象

  RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(

                         new Path("/"), true);

  while (listFiles.hasNext()) {

    LocatedFileStatus fileStatus = listFiles.next();

    // 打印当前文件名

    System.out.println(fileStatus.getPath().getName());

    // 打印当前文件块大小

    System.out.println(fileStatus.getBlockSize());

    // 打印当前文件权限

    System.out.println(fileStatus.getPermission());

    // 打印当前文件内容长度

    System.out.println(fileStatus.getLen());

    // 获取该文件块信息(包含长度,数据块,datanode的信息)

    BlockLocation[] blockLocations =

                   fileStatus.getBlockLocations();

    for (BlockLocation bl : blockLocations) {

      System.out.println("block-length:" + bl.getLength() + 

              "--" + "block-offset:" + bl.getOffset());

      String[] hosts = bl.getHosts();

      for (String host : hosts) {

        System.out.println(host);

      }

    }

System.out.println("-----------分割线-------------");

  }

}

在上述代码中,可以调用FileSystem的listFiles()方法获取文件列表,其中第一个参数表示需要获取的目录路径,第二个参数表示是否递归查询,这里传入参数为true,表示需要递归查询。

相关推荐

嵌入式C语言中常量的应用实例(嵌入式c语言中常量的应用实例是什么)

常量,我们都知道,就是数值保持不变的量。在C语言中,常量一旦初始化了,它的值将在整个程序运行周期内,不允许发生任何变化。常量与变量是相对的,我们实际项目中经常会用到它。定义常量的两种方式C语言中主要有...

C语言编程基础知识汇总学习,适合初学者!更新常量知识

(二)整型常量整型常量有3种形式:十进制整型常量、八进制整型常量和十六进制整型常量。(注意:c语言中没有直接表示二进制的整型常量,在c语言源程序中不会出现二进制。)书写方式如下:十进制整型常量:123...

【C语言】第二章第六节:字符串常量

第二章第六节:字符串常量。下表C语言中的常用转义字符。·字符形式功能:ASCIl码(十进制形式)。→\t水平制表(横向跳格:跳到下一个tab位置)。→\b退格8。→\r回车(不换行,光标移到本行行首)...

「GCTT 出品」Go 系列教程——5. 常量

这是我们Golang系列教程的第五篇。定义在Go语言中,术语”常量”用于表示固定的值。比如5、-89、IloveGo、67.89等等。看看下面的代码:varaint=50v...

每日C语言-常量指针、指针常量、指向常量的指针常量

一、常量指针1)什么是常量指针?通过该指针不可以修改其所指向存储单元中的值指针本身即地址可以被修改2)定义:类型说明符const*指针变量;类型说明符表示指针所指向存储单元中的值得数据类型指针...

C语言-符号常量、常变量、变量之我见

更新内容:新增音频。音频和文章一起更配oHello,大家好,又和大家见面了~~相信很多朋友们听了C语言的“符号常量”、“常变量”、“变量”后还是对这三者一脸懵逼吧。不管老师怎么歇斯底里地讲解,同学们迷...

零基础带你学习C语言:四:探索常量与变量

前言常量与变量学习;一:分析:short、float、long类型#include<stdio.h>intmain(){shortage=18;floatweight=12...

C语言中是如何定义常量的?那定义字符串呢?

常量有整型常量、浮点型常量、字符型常量及字符串常量。‘常量定义是指定义符号常量,用一个标识符来代表一个常量,通过宏定义预处理指令来实现。常量的定义:#definecount60这就定义了一个常量...

C语言符号常量的优点,会是那几点?

符号常量是一个常量,是不变量,所以,在编译的时候,就把符号常量出现的地方,替换为符号常量对应的常量。符号常量一般用户定义一个全局使用的数据,而且要改变该数据的时候,只需要改变符号常量的值,代码中引用符...

嵌入式开发- C语言数据类型-常量(c语言嵌入式是干嘛的)

基本数据类型的常量-掌握**整型常量:**常量是指在程序运行期间其数值不发生变化的数据。整型常量通常简称为整数整数可以是十进制数、八进制数、十六进制数八进制06334十六进制0xd1...

c语言解剖课:只读变量、常量、字面量傻傻分不清?

写在前面本篇主题的缘起,是因为一个计算机专业的大学生在和我讨论c语言问题时,说const常量如何如何,我说变量被const修饰了,还是变量,不是“常量”。他给了我一个截图:他说大模型都是这样回答的,变...

C/C++编程笔记:C数组、字符串常量和指针!三分钟弄懂它

想弄懂C语言中数组和指针的关系吗?这篇文章就占据你三分钟时间,看完你肯定会有收获!数组数组声明为数据类型名称[constant-size],并将一个数据类型的一个或多个实例分组到一个可寻址的位...

C语言入门到精通【第008讲】——C语言常量

C语言常量常量是固定值,在程序执行期间不会改变。这些固定的值,又叫做字面量。常量可以是任何的基本数据类型,比如整数常量、浮点常量、字符常量,或字符串字面值,也有枚举常量。常量就像是常规的变量,只不过常...

这是C语言无法修改得东西,C语言基础教程之常量解析

常量是指程序在执行期间不会改变的固定值。这些固定值也称为文字。常量可以是任何基本数据类型,如整数常量,浮点常量,字符常量或字符串文字,还有枚举常量。常量被视为常规变量,除了它们的值在定义后无法修改。整...

C语言中的单精度、双精度、常量等都有什么意思?

刚接触C语言时,对于常量,变量,浮点,单精度,双精度等问题的理解,大都很模糊不清,其实在程序运行过程中,其值不能改变的量称为常量。如12、0、-3为整型常量,4.6、-1.23为实型常量,'a'、'...

取消回复欢迎 发表评论: