随着毕业设计的进行,大学四年正式进入尾声。任你玩四年的大学的最后一次作业最后在激烈的选题中尘埃落定。无论选择了怎样的选题,无论最后的结果是怎样的,对于大学里面的这最后一份作业,也希望自己能够尽心尽力,好好做。正是因为选题和hadoop有关,现在正式开始学习hadoop。将笔记整理于此,希望与志同道合的朋友共同交流。

 作者:itRed           邮箱:it_red@sina.com       个人博客链接:http://www.cnblogs.com/itred

好了,废话不多说。进入正题!开始hadoop的学习。

  part1的主要任务是了解Hadoop项目,理解Hadoop的相关术语,了解Hadoop的部署模式,为伪分布式模式准备集群的环境

一.Hadoop项目简介:

  这就是Hadoop的logo。而Hadoop的形象代言人就是这只棕黄色的小象。实际是一小孩儿的填充玩具,如果有兴趣了解Hadoop的名字起源。可以百度。

这里对Hadoop的介绍仅仅起到一个抛砖引玉的作用,我相信没有任何文档的介绍能够比得上Hadoop的官方文档。贴出Hadoop官网:http://hadoop.apache.org/,因此阅读官方文档时最好的一种真正理解这门技术的方式。在此,我谈谈自己的理解。Hadoop是一个分布式系统基础架构,但是它可以让开发者在不需要了解分布式底层的基础上,开发分布式程序和应用。而且可以充分利用其集群的能力来进行高速运算和存储。一句话,就是它是适合大数据的分布式存储与计算平台。

Hadoop的核心设计就是HDFS(Hadoop分布式文件系统)和MapReduce。关于这些术语的介绍我会在后文给出解释。HDFS为海量的数据提供了存储,而MapReduce为海量数据提供了计算。

Hadoop项目主要包含的模块有:

  Hadoop Common:这个Common套件主要为支持其他的Hadoop模块;

  HDFS:一种分布式文件系统,支持高吞吐量的应用数据;

   Hadoop YARN:一种任务调度的框架和群资源管理;

  Hadoop MapReduce:YARN依靠的系统,主要用于处理大数据。

二.Hadoop 重要术语理解:

HDFS:Hadoop Distributed File System (Hadoop分布式文件系统)默认的最基本的存储单位是64M的数据块。而在HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间。

MapReduce:就是一种编程模型,用于大规模数据集(大于1TB)的并行运算。"Map(映射)"和"Reduce(归约)",以及它们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(归约)函数,用来保证所有映射的键值对中的每一个共享相同的键组。

三.Hadoop的部署模式主要分为三种:

本地模式:此时Hadoop使用本地文件系统而非分布式文件系统,而且其也不会启动任何Hadoop守护进程,Map和Reduce任务都作为同一进程的不同部分来执行。因此,本地模式下的Hadoop仅运行于本机。此种模式仅用于开发或调试MapReduce应用程序但却避免了复杂的后续操作。

伪分布模式:hadoop将所有进程运行于同一台主机上,但此时Hadoop将使用分布式文件系统,而且各jobs也是由JobTracker服务管理的独立进程。同时,由于伪分布式的Hadoop集群只有一个节点,因此HDFS的块复制将限制为单个副本,其secondary-master和slave也都将运行于本地主机。此种模式除了并非真正意义的分布式之外,其程序执行逻辑完全类似于完全分布式,因此,常用于开发人员测试程序执行。

集群模式:hadoop守护进程运行在一个集群上。

四.为安装Hadoop准备环境(伪分布模式):实现伪分布模式下的hadoop集群环境搭建。

准备软件:

    在虚拟机中装一个linux系统;

    Jdk;(版本根据您的实际情况来选择)

在linxu中安装jdk时,需要给jdk权限命令:chmod o+x  jdk..(根据版本的实际情况来);

然后利用 ./jdk….(版本)   进行安装;

  安装后的路径在:  /usr/java

  然后将java加入环境变量:#vi  /etc/profile

JAVA_HOME=/usr/java/jdk….
PATH=$PATH:/usr/java/jdk../bin
CLASSPATH=.:/usr/java/jdk…/jre/lib/rt.jar
Export JAVA_HOME PATH CLASSPATH    

  关闭linux防火墙:

命令:
#service iptables status //查看防火墙状态
#service iptables stop   //关闭防火墙
#chkconfig iptables off  //设置防火墙的自动启动为off,即禁止自启动

  修改ip:网络链接方式设置为host-only ,根据自己的实际宿主机ip地址进行更改

 命令:# vi  /etc/sysconfig/network-s/ifcfg-eth0  //利用vi修改

  修改hostname:

 命令:#vi /etc/sysconfig/network    //机器重启后有效

           HOSTNAME=Hadoop

  ssh自动登陆:注意并不是java三大框架!

命令操作如下:
#cd ~/.ssh
#ssh-keygen –t rsa   //然后就一直按Enter键,按着默认的进行下去;
#cp id_rsa.pub  authorized_keys
#ssh localhost  //利用这个命令进行验证

完成后,输入ssh localhost完成验证。

今天只是重点了解一下Hadoop项目,具体安装将在《Hadoop入门学习笔记---part2》中进行。

作者:itRed
邮箱:it_red@sina.com
博客:http://www.cnblogs.com/itred
***版权声明:本文版权归作者和博客园共有,欢迎转载,但请在文章显眼位置标明文章出处。未经本人书面同意,将其作为他用,本人保留追究责任的所有权利。

Hadoop入门学习笔记---part1的更多相关文章

  1. Hadoop入门学习笔记---part2

    在<Hadoop入门学习笔记---part1>中感觉自己虽然总结的比较详细,但是始终感觉有点凌乱.不够系统化,不够简洁.经过自己的推敲和总结,现在在此处概括性的总结一下,认为在准备搭建ha ...

  2. Hadoop入门学习笔记---part4

    紧接着<Hadoop入门学习笔记---part3>中的继续了解如何用java在程序中操作HDFS. 众所周知,对文件的操作无非是创建,查看,下载,删除.下面我们就开始应用java程序进行操 ...

  3. Hadoop入门学习笔记---part3

    2015年元旦,好好学习,天天向上.良好的开端是成功的一半,任何学习都不能中断,只有坚持才会出结果.继续学习Hadoop.冰冻三尺,非一日之寒! 经过Hadoop的伪分布集群环境的搭建,基本对Hado ...

  4. PyQt4入门学习笔记(三)

    # PyQt4入门学习笔记(三) PyQt4内的布局 布局方式是我们控制我们的GUI页面内各个控件的排放位置的.我们可以通过两种基本方式来控制: 1.绝对位置 2.layout类 绝对位置 这种方式要 ...

  5. PyQt4入门学习笔记(一)

    PyQt4入门学习笔记(一) 一直没有找到什么好的pyqt4的教程,偶然在google上搜到一篇不错的入门文档,翻译过来,留以后再复习. 原始链接如下: http://zetcode.com/gui/ ...

  6. Scala入门学习笔记三--数组使用

    前言 本篇主要讲Scala的Array.BufferArray.List,更多教程请参考:Scala教程 本篇知识点概括 若长度固定则使用Array,若长度可能有 变化则使用ArrayBuffer 提 ...

  7. OpenCV入门学习笔记

    OpenCV入门学习笔记 参照OpenCV中文论坛相关文档(http://www.opencv.org.cn/) 一.简介 OpenCV(Open Source Computer Vision),开源 ...

  8. stylus入门学习笔记

    title: stylus入门学习笔记 date: 2018-09-06 17:35:28 tags: [stylus] description: 学习到 vue, 有人推荐使用 stylus 这个 ...

  9. dubbo入门学习笔记之入门demo(基于普通maven项目)

    注:本笔记接dubbo入门学习笔记之环境准备继续记录; (四)开发服务提供者和消费者并让他们在启动时分别向注册中心注册和订阅服务 需求:订单服务中初始化订单功能需要调用用户服务的获取用户信息的接口(订 ...

随机推荐

  1. 嵌入式系统上实现GPS全球定位功能

    GPS(Global Positioning System)即全球定位系统,是由美国建立的一个卫星导航定位系统,利用该系统,用户可以在全球范围内实现全天候.连续.实时的三维导航定位和测速:另外,利用该 ...

  2. Nginx下实现pathinfo及ThinkPHP的URL Rewrite模式支持

    打开Nginx的配置文件 /usr/local/nginx/conf/nginx.conf 一般是在这个路径,根据你的安装路径可能有所变化.如果你配置了vhost,而且只需要你这一个vhost支持pa ...

  3. 如何获得bin/Debug目录的路径?

    这个可以使用下面的方法 答案:bin目录:通过应用程序集合AppDomain.CurrentDomain.BaseDirectory:带有"\"System.Environment ...

  4. 深度解析EM菌

    现在,在各大水族论坛里知道什么是EM菌的人不多,能正确说出EM菌的原理.成分和用途的人更是凤毛麟角,很多人对EM菌是否适用于水族箱存有疑虑,他们认为EM菌里大部分都是厌氧菌,因此不适合在水族箱这种好氧 ...

  5. 站长、运维必备| 网站可用性监控产品 OneAPM Cloud Test 上线

    白天太忙,到了晚上才发现网站一天都没有访问量? 直到有用户投诉才发现网站完全无法访问? 还要每月付费才能及时了解网站可用情况? 监控频率太低,不能及时发现网站不可用? 第三方服务宕机,导致您的网站不可 ...

  6. GDB实用的调试工具

    GDB它是GNU Debuger缩写,它是GNU发表了unix通过应用程序调试工具. 它被广泛应用于在各种各种生产内部应用.GDB和所有的调试工具经常使用相同的,其主要特点是:监视变量的值.设置断点及 ...

  7. VMware vSphere 服务器虚拟化之十六 桌面虚拟化之VMware Horizon View

       VMware vSphere服务器虚拟化之十六 桌面虚拟化之VMware Horizon View  VMware Horizon View (原VMware View的升级版现在版本5.2)是 ...

  8. Maven项目pom.xml文件报xxx\target\classes\META-INF\MANIFEST.MF (系统找不到指定的路径)

    在今天的学习Maven项目中遇到的这个错误:pom.xml文件报xxx\target\classes\META-INF\MANIFEST.MF (系统找不到指定的路径) 在Maven项目学习中,缓存问 ...

  9. Java转PHP的心路历程

    首先,我要批评一下自己,已经好久没发博客了.总是拿奇奇怪怪的理由来妨碍自己写博客. emmmm,现在心里舒服一点了. 前提 在2018年的11月7号,我从广州跳槽到一个三线的小城市工作.跳槽原因比较羞 ...

  10. Redis实战(十)Redis常见问题及解决方案

    序言