说明:这篇博客来自我的csdn博客,http://blog.csdn.net/lxxgreat/article/details/7753511


一.参考书:《hadoop权威指南--第二版(中文)》

二.hadoop环境安装

1.安装sun-jdk1.6版本

1)目前我只在一台服务器(CentOS5.5)上搭建hadoop环境,因此先卸载已安装的java1.4版本

卸载命令:yum -y remove java

2)下载sun-jdk1.6,地址:http://download.oracle.com/otn-pub/java/jdk/6u33-b04/jdk-6u33-linux-x64-rpm.bin

3)安装java(进入jdk安装文件所在目录)

添加bin文件权限:chmod a+x *

安装,sudo  ./jdk-6u33-linux-x64-rpm.bin

(若是在普通用户下安装,需要在/etc/sudoers文件下添加语句,表示当前用户可以拥有root权限,具体命令如下

a. su root

b. chmod u+w /etc/sudoers

c. vim /etc/sudoers

d.在root    ALL=(ALL)       ALL下面添加一行 “username(你要创建的sudoer用户名) ALL=(ALL)  ALL”,保存退出

e. chmod u-w /etc/sudoers

)

4)设置JAVA_HOME

编辑用户目录下的.bashrc文件,设置JAVA_HOE命令:export JAVA_HOME=/usr

2.安装hadoop

1)从http://hadoop.apache.org/common/releases.html#Download上下载相应版本的hadoop(本人下载的是1.0.3版本)

2)解压文件

命令:tar -xzf  hadoop-1.0.3.tar.gz

3)测试hadoop是否安装成功(进入hadoop安装目录,依次执行以下命令)

a. mkdir input

b. cp conf/*.xml input 
c. bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+' 
d. cat output/*  (显示“1      dfsadmin” 表示hadoop安装成功)

4)设置环境变量

export HADOOP_HOME=/home/username/hadoop/hadoop-1.0.3
export PATH=$PATH:$HADOOP_HOME/bin
export CLASSPATH=.:$HADOOP_HOME/hadoop-core-1.0.3.jar:$HADOOP_HOME/lib:$CLASSPATH

三.简单Map-Reduce示例

一开始按照书上20~23页(也可参考该页面http://answers.oreilly.com/topic/455-get-started-analyzing-data-with-hadoop/)上的内容运行简单的MaxTemperature示例,一直没用过。在命令行环境下,输入

% export HADOOP_CLASSPATH=build/classes

% hadoop MaxTemperature input/ncdc/sample.txt output

就显示:ClassNotFound类似的错误,然后修改,又抛出IOException,后在网上找了好久,得到一个可行的方案。

1.参考链接

http://hadoop.apache.org/common/docs/stable/mapred_tutorial.html

http://blog.endlesscode.com/2010/06/16/simple-demo-of-mapreduce-in-java/

2.主要步骤

mkdir MaxTemperature
javac -d MaxTemperature MaxTemperature.java
jar cvf MaxTemperature.jar -C MaxTemperature/ .
hadoop jar MaxTemperature.jar MaxTemperature sample.txt output

注意事项:

将map,reduce类的代码复制到MaxTemperature.java中,添加static属性,执行javac命令如遇到Iterator报错时,则添加相应包,如下

import java.util.Collection;
import java.util.HashSet;
import java.util.Iterator;

四.一点感想

今天第一次搭建hadoop环境,主要困难在于按照书上说明一步一步操作时,遇到了错误,这时不确定是书上的知识过时了还是我的操作失误,加之对java不太熟悉,由此浪费了好几个小时的时间。最后,找到了一个正确的方案,成功运行了Map-Reduce的简单示例(单机模式)。总体来说,走出了第一步,有点小成就感。希望能利用这个暑假深入研究hadoop。加油~

五.补充

参考书《Hadoop权威指南(中文第二版)》中第25页说明了,Hadoop从0.20.0版本开始在类型上不兼容先前的API,要重写以前的应用程序才能使新的API发挥作用。这就说明了用旧的API会报一些奇怪的类似ClassNotFound的错误了。

在这里补充下新增的API和旧的API之间的一些明显区别(摘自书中):

1.新的API倾向于使用抽象类,而不是接口,因为这更容易扩展。例如,你可以添加一个方法(用默认的实现)到一个抽象类而不需修改类之前的实现方法。在新的API中,Mapper和Reducer是抽象类。
2.新的API是在org.apache.hadoop.mapreduce包(和子包)中的。之前版本的API则是放在org.apache.hadoop.mapred中的。
3.新的API广泛使用context object(上下文对象),并允许用户代码与MapReduce系统进行通信。例如,MapContext基本上充当着JobConf的OutputCollector和Reporter的角色。
4.新的API同时支持"推"和"拉"式的迭代。在这两个新老API中,键/值记录对被推mapper中,但除此之外,新的API允许把记录从map()方法中拉出,这也适用于reducer。"拉"式的一个有用的例子是分批处理记录,而不是一个接一个。
5.新的API统一了配置。旧的API有一个特殊的JobConf对象用于作业配置,这是一个对于Hadoop通常的Configuration对象的扩展(用于配置守护进程,请参见5.1节)。在新的API中,这种区别没有了,所以作业配置通过Configuration来完成。
6.作业控制的执行由Job类来负责,而不是JobClient,它在新的API中已经荡然无存。

hadoop环境安装及简单Map-Reduce示例的更多相关文章

  1. Hadoop简介(1):什么是Map/Reduce

    看这篇文章请出去跑两圈,然后泡一壶茶,边喝茶,边看,看完你就对hadoop整体有所了解了. Hadoop简介 Hadoop就是一个实现了Google云计算系统的开源系统,包括并行计算模型Map/Red ...

  2. Django学习笔记(一):环境安装与简单实例

    Django学习笔记(一):环境安装与简单实例 通过本文章实现: Django在Windows中的环境安装 Django项目的建立并编写简单的网页,显示欢迎语与当前时间 一.环境安装 结合版本兼容性等 ...

  3. Hadoop Map/Reduce 示例程序WordCount

    #进入hadoop安装目录 cd /usr/local/hadoop #创建示例文件:input #在里面输入以下内容: #Hello world, Bye world! vim input #在hd ...

  4. hadoop入门级总结二:Map/Reduce

    在上一篇博客:hadoop入门级总结一:HDFS中,简单的介绍了hadoop分布式文件系统HDFS的整体框架及文件写入读出机制.接下来,简要的总结一下hadoop的另外一大关键技术之一分布式计算框架: ...

  5. RabbitMQ使用教程(一)RabbitMQ环境安装配置及Hello World示例

    你是否听说过或者使用过队列? 你是否听说过或者使用过消息队列? 你是否听说过或者使用过RabbitMQ? 提到这几个词,用过的人,也许觉得很简单,没用过的人,也许觉得很复杂,至少在我没使用消息队列之前 ...

  6. Hadoop环境安装和集群创建

    虚拟机使用vmware,vmware可以直接百度下载安装 秘钥也能百度到 安装很简单 CentOS 7下载: 进入官网 https://www.centos.org/download/ 这里有三种 第 ...

  7. Python之路-python环境安装和简单的语法使用

    一.环境安装 Win10(安装python3.x): 1.下载安装包     https://www.python.org/downloads/   2.安装完成后设置环境变量. 桌面-“计算机”-右 ...

  8. hadoop环境安装及错误总结

    历时N天的hadoop环境,终于配好了 主要参考 Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS 1.开机默认进入字符界面或者是图形界面:http://blog.cs ...

  9. Hive中自定义Map/Reduce示例 In Python

    Hive支持自定义map与reduce script.接下来我用一个简单的wordcount例子加以说明.使用Python开发(如果使用Java开发,请看这里). 开发环境: python:2.7.5 ...

随机推荐

  1. Chrome 控制台 console

    前言 Chrome浏览器我想是每一个前端er必用工具之一吧,一部分原因是它速度快,体积不大,支持的新特性也比其它浏览器多,还有一部分我想就是因为它的控制台功能强大了吧,说它是神器一点也不过分,很方便. ...

  2. svn 被锁定

    遇到svn被锁定,clearup 不管用一直报错 用命令行解决了 问题 : command line -> cmd>svn help>svn cleanup>exit

  3. Angular2学习

    1.新建项目 2.新建Model public class TodoItem { public int Id { get; set; } public string Key { get; set; } ...

  4. EF执行存储过程(带输出参数)

    1.不含动态sql.带输出参数存储过程调用实例 1.存储过程代码:   2.EF自动生成代码(包括对应ObjectResult的实体模型): 3.调用存储过程代码实例: 总结: ObjectParam ...

  5. CSS3自适应字体大小(vw vh)

    viewpoint css3提供了一些与当前viewpoint相关的元素,vw,vh,vmin, vmax等. “viewpoint” = window size vw = 1% of viewpor ...

  6. code forces 148D Bag of mice (概率DP)

    time limit per test 2 seconds memory limit per test 256 megabytes input standard input output standa ...

  7. 05 - json转成树状结构

    var jsonData = eval(`[ {"id":"4","pid":"1","name": ...

  8. post和get请求的参数乱码

    对于做Java WEB项目同学来说,中文乱码问题是一个经常遇到而又非常头痛的问题,而最容易出现乱码的环节就是在浏览器向服务器发送请求的过程,至于出现乱码的原因不是本文的关注的重点,想了解的朋友可以参考 ...

  9. Spring实现文件的上传下载

    背景:之前一直做的是数据库的增删改查工作,对于文件的上传下载比较排斥,今天研究了下具体的实现,发现其实是很简单.此处不仅要实现单文件的上传,还要实现多文件的上传. 单文件的下载知道了,多文件的下载呢? ...

  10. Iframe跨域JavaScript自动适应高度

    重点分析: 主域名页面:页面A,页面C 其它域名页面:页面B 步骤: 1.页面A(主域名)通过Iframe(id="iframeB")嵌套页面B(其它域名) 2.页面B(其它域名) ...