紧接着《Hadoop入门学习笔记---part3》中的继续了解如何用java在程序中操作HDFS。

众所周知,对文件的操作无非是创建,查看,下载,删除。下面我们就开始应用java程序进行操作,前提是按照《Hadoop入门学习笔记---part2》中的已经在虚拟机中搭建好了Hadoop伪分布环境;并且确定现在linux操作系统中hadoop的几个进程已经完全启动了。

好了,废话不多说!实际的例子走起。

在myeclipse中新建一个java工程:

在项目工程中新建一个lib包用于存放项目需要的相关jar包,关于build path我就不多说了。相关jar包如下:

    

  1. 创建文件:

public static final String HDFS_PATH = "hdfs://hadoop:9000/hello";   //创建文件的url
public static void main(String[] args) {
try {
URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
final URL url = new URL(HDFS_PATH);
final InputStream in = url.openStream();
IOUtils.copyBytes(in, System.out, 1024, true);
} catch (Exception e) {
e.printStackTrace();
}

在浏览器中查看效果:输入http://hadoop:50070/ 然后点击Browse the filesystem 就可以查看到在HDFS根目录下刚刚新建的那个文件了。

    

  2. 上传文件:首先应该明白的就是上传首先需要在HDFS中创建,然后以流的形式写入。

 public static final String HDFS_PATH = "hdfs://hadoop:9000/";
final FileSystem fileSystem = FileSystem.get(new URI(HDFS_PATH),new Configuration());
// 上传文件
final FSDataOutputStream out = fileSystem.create(new Path(FILE_PATH));
final FileInputStream in = new FileInputStream("H:/redTestFileForHadoop");
IOUtils.copyBytes(in, out, 1024, true);

效果如下:直接在浏览器中打开。

  (上传1)

---------------------------------------分割线---------------------------------------------------------

    (上传2)

  3. 下载文件,直接输出到控制台,也可以单独将这个写入到一个文件里面,这里就不介绍了,代码如下:

public static final String HDFS_PATH = "hdfs://hadoop:9000/";
final FileSystem fileSystem = FileSystem.get(new URI(HDFS_PATH),new Configuration());
// 下载文件
final FSDataInputStream in = fileSystem.open(new Path(FILE_PATH));
IOUtils.copyBytes(in, System.out,1024, true);

效果图如下:

    

  4. 删除文件:   

 public static final String HDFS_PATH = "hdfs://hadoop:9000/";
final FileSystem fileSystem = FileSystem.get(new URI(HDFS_PATH),new Configuration());
fileSystem.delete(new Path(FILE_PATH), true);

效果就不用说了,直接在浏览器中看不到这个文件了。

很多时候看起来很复杂的东西其实是自己心里面的认可,实际上也没有想象中的那么难!好好体验一下吧。瞬间感觉这个和我们平常用到的云网盘有几分一样了。哈哈,不妨做一个属于自己的云网盘。绝对可以的!

作者:itRed                                  邮箱:it_red@sina.com
博客:http://www.cnblogs.com/itred 个人网站:http://wangxingyu.jd-app.com
***版权声明:
本文版权归作者和博客园共有,欢迎转载,但请在文章显眼位置标明文章出处。未经本人书面同意,将其作为他用,本人保留追究责任的所有权利。