HDFS编程 —— 用Java API 操作HDFS

使用Java操作HDFS，首先需要创建maven工程，创建maven工程的方法：https://www.cnblogs.com/ynqwer/p/14540108.html。

在新建的maven工程的src/main/java/目录下就可以写Java程序操作HDFS，为了方便管理，可以在此目录下创建一个包，然后在包里面新建一个类，写代码操作HDFS。使用Java来操作HDFS大概可以分为三个步骤：

获取客户端对象
调用相应的方法来操作HDFS
关闭资源

根据这三个步骤，写出代码

package com.qwer.hdfs;

import java.io.IOException;

import java.net.URI;

import java.net.URISyntaxException;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

/*

 * 使用Java操作HDFS的步骤：

 * 1、获取客户端对象

 * 2、调用相应的方法来操作HDFS

 * 3、关闭资源

 */

public class HdfsClient {

	public static void main(String[] args) throws URISyntaxException, IOException, InterruptedException {

		// 集群通讯地址

		URI uri = new URI("hdfs://centos1:8020");

		// 集群配置

		Configuration conf = new Configuration();

		// 集群用户

		String user = "hadoop";

		// 获取客户端对象

		FileSystem fs = FileSystem.get(uri, conf, user);

		// 调用方法上传文件

		fs.copyFromLocalFile(false, false, new Path("F:\\hadoop\\input\\test.txt"),new Path( "/test1"));

		// 关闭资源

		fs.close();

		System.out.println("SUCESS!");

	};

}

运行上面的代码，可以看到在HDFS的根目录下创建了一个test1文件，数据副本数为3

在上面的代码中，可以用conf.set()来进行一些设置，例如：conf.set("dfs.replication", "2")来设置上传时候的数据副本数为2，代码如下

package com.qwer.hdfs;

import java.io.IOException;

import java.net.URI;

import java.net.URISyntaxException;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

/*

 * 使用Java操作HDFS的步骤：

 * 1、获取客户端对象

 * 2、调用相应的方法来操作HDFS

 * 3、关闭资源

 */

public class HdfsClient {

	public static void main(String[] args) throws URISyntaxException, IOException, InterruptedException {

		// 集群通讯地址

		URI uri = new URI("hdfs://centos1:8020");

		// 集群配置

		Configuration conf = new Configuration();

                // 设置数据副本数为2

                conf.set("dfs.replication", "2");

		// 集群用户

		String user = "hadoop";

		// 获取客户端对象

		FileSystem fs = FileSystem.get(uri, conf, user);

		// 调用方法上传文件

		fs.copyFromLocalFile(false, false, new Path("F:\\hadoop\\input\\test.txt"),new Path( "/test2"));

		// 关闭资源

		fs.close();

		System.out.println("SUCESS!");

	};

}

执行上面代码，可以看到在HDFS的根目录下面创建了一个test2文件，数据副本数为2

HDFS编程 —— 用Java API 操作HDFS的更多相关文章

使用Java API操作HDFS文件系统
使用Junit封装HFDS import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org ...
HDFS 05 - HDFS 常用的 Java API 操作
目录 0 - 配置 Hadoop 环境(Windows系统) 1 - 导入 Maven 依赖 2 - 常用类介绍 3 - 常见 API 操作 3.1 获取文件系统(重要) 3.2 创建目录.写入文件 ...
使用Java Api 操作HDFS
如题我就是一个标题党就是使用JavaApi操作HDFS,使用的是MAVEN,操作的环境是Linux 首先要配置好Maven环境,我使用的是已经有的仓库,如果你下载的jar包速度慢,可以改变Ma ...
hadoop学习笔记（五）：java api 操作hdfs
HDFS的Java访问接口 1)org.apache.hadoop.fs.FileSystem 是一个通用的文件系统API,提供了不同文件系统的统一访问方式. 2)org.apache.hadoop. ...
HDFS基础和java api操作
1. 概括适合一次写入多次查询情况,不支持并发写情况通过hadoop shell 上传的文件存放在DataNode的block中,通过linux shell只能看见block,看不见文件(HDFS ...
Hadoop Java API操作HDFS文件系统（Mac）
1.下载Hadoop的压缩包 tar.gz https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/ 2.关联jar包在 ...
大数据之路week07--day01（HDFS学习，Java代码操作HDFS，将HDFS文件内容存入到Mysql）
一.HDFS概述数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统 ...
使用java api操作HDFS文件
实现的代码如下: import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import ...
Hadoop之HDFS（三）HDFS的JAVA API操作
HDFS的JAVA API操作 HDFS 在生产应用中主要是客户端的开发,其核心步骤是从 HDFS 提供的 api中构造一个 HDFS 的访问客户端对象,然后通过该客户端对象操作(增删改查)HDFS ...
JAVA API连接HDFS HA集群
使用JAVA API连接HDFS时我们需要使用NameNode的地址,开启HA后,两个NameNode可能会主备切换,如果连接的那台主机NameNode挂掉了,连接就会失败. HDFS提供了names ...

随机推荐

ES6-遍历器与for-of循环
一.认识Iterator对象(可遍历对象) console.log([1, 2]); console.log([1, 2][Symbol.iterator]);//ƒ ...
input放入焦点，选中全部文本
async mounted(){ let inputList = document.querySelectorAll('input'); for (let index = 0; index < ...
c语言创建线程的函数封装
头文件xxx.h #include <stdlib.h> #include <pthread.h> #include <string.h> typedef int ...
本地部署一套k8s集群
我这里准备三台本地vmware虚拟机,版本号centos7.9,一台master节点,一台node1,一台node2 kubeadm方式部署.Kubeadm 是一个 K8s 部署工具,提供 kubea ...
统信系统部署es
rpm -ivh jdk-17.0.4.1_linux-x64_bin.rpm groupadd es && useradd -d /home/es -g es estar -xzvf ...
macOS Big Sur 设置JAVA_HOME
默认JAVA_HOME指向的是: /Library/Internet Plug-Ins/JavaAppletPlugin.plugin/Contents/Home 这个不是我们自己安装的jdk,另外本 ...
压缩打包，tar
压缩打包命令创建压缩包 tar -zcvf /home/xxxx.tar.gz /xahot 解压 tar -zxvf xxx.tar.gz gzip xxxx 自动变为 xxx.gz
<<运算？&=、|=、 ^=、<<=、>>=的意思？十六进制前缀是 0x。
<<运算? a<<b 表示把a转为二进制后左移b位(在后面添加 b个0).例如100的二进制表示为1100100,100左移2位后(后面加2个零):1100100<< ...
根据XML生成实体类
因为对接系统的XML所需映射的实体类有几十个,自己来处理不太现实,于是一直找寻找这样的工具,终于让我发现了jaxb2-maven-plugin: http://www.mojohaus.org/jax ...
Java-对象认识对象
1.对象同时具有属性和方法两个特性.对象的属性和方法通常被封装在一起,共同体现事物特性,两者相辅相成,不可分割

HDFS编程 —— 用Java API 操作HDFS

HDFS编程 —— 用Java API 操作HDFS的更多相关文章

随机推荐

热门专题