阅读目录

本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作。

文章是哥(mephisto)写的,SourceLink

  我们已经准备好了网络访问,防火墙,Hosts,SSH等设置,下面我们根据上篇中的检查列表处理下剩下的内容,包括yum,时间同步,本地仓库等。

  我们开始吧。

搭建环境

一:检查yum,出现了列表就说明已经安装。

rpm -qa|grep yum

二:修改yum源

  由于国内网络的情况,所以尽量还是找点国内的镜像,或者比较快的国外镜像。

  目前俺只找到一个源还行(上海交通大学的),不过大家有好的源,还是分享出来吧。

#进入目录
cd /etc/yum.repos.d/
#列表
ls -al

  在这里我们就修改CentOS-Base.repo就可以了。

  将原来的注释掉,然后加入baseurl=http://ftp.sjtu.edu.cn/centos/$releasever/os/$basearch/

vim CentOS-Base.repo

三:H30时间服务器安装

  这里需要安装时间服务器,其他的服务器通过这个来进行多机器时间的同步。

yum install ntp

  配置ntp.conf

vim /etc/ntp.conf

  将H30的本地时钟作为时间供给源,这样,即便它失去网络连接,它也可以继续为网络提供服务。

server 127.127.1.0
fudge 

  如果集群是在一个封闭的局域网内,可以屏蔽掉默认的server。

#server .centos.pool.ntp.org iburst
#server .centos.pool.ntp.org iburst
#server .centos.pool.ntp.org iburst
#server .centos.pool.ntp.org iburst

  [restrict]参数设定方式:
  restrict [address] mask [netmask_ip] [parameter]
  其中parameter的参数主要有:
    ignore        :    拒绝所有类型的ntp连接
    nomodify    :    客户端不能使用ntpc与ntpq两支程式来修改服务器的时间参数
    noquery        :    客户端不能使用ntpq、ntpc等指令来查询服务器时间,等于不提供ntp的网络校时
    notrap        :    不提供trap这个远程时间登录的功能
    notrust        :    拒绝没有认证的客户端
    nopeer        :    不与其他同一层的ntp服务器进行时间同步

restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

  这一行的含义是授权192.168.1.0网段上的所有机器可以从这台机器上查询和同步时间。这里的配置涉及到了一些网络知识。 对于第一个参数[address] 它可能是一个IP,也可能是一个网段,这取决于后面给出的子网掩码。如果这里的子网掩码是255.255.255.255,那么配置就变成了只授权给IP是192.168.1.0的那一台机器连接!但是这里子网掩码是255.255.255.0,则此时的192.168.1.0就是一个网络标识了!它代表的是这样一个网段:192.168.1这个网段了。

  启动ntp服务

#启动
service ntpd start
#开机启动
chkconfig ntpd on
#状态
service ntpd status

四:其他客户机配置

  安装

  修改ntp.conf

  手动同步时间

  这里暂时不要开ntpd服务,开了就不能手动同步了,因为使用同一个端口。

ntpdate 192.168.1.30

这里出一个思考题,学习得举一反三,掌握基本的原理,其他的只是组合搭配了。

  ntpdate H30 行不行得通。

注:这里可以使用-u这样,就不用停止ntpd服务。就可以同步时间。

ntpdate -u 192.168.1.30

  然后,我们开启服务

#开启服务
service ntpd start
#开机启动
chkconfig ntpd on

  检查状态

ntpstat

ntpq -p

  这两个命令都可以查看是否与H30同步了。

watch ntpq -p

  这样,我们的时间同步就做到位了。

五:H30搭建本地仓库

  那些库文件都不小,而且从yum上下,很多都不稳定,下的你开始怀疑自己的智商,所以,作为生产环境,我们还是辛苦点,一部到位,做个属于我们自己的本地仓库。

  本篇下面的内容均是介绍本地仓库的搭建。这次我们搭建的是基于html的本地仓库。

六:安装httpd服务

  httpd是Apache超文本传输协议(HTTP)服务器的主程序。被设计为一个独立运行的后台进程,它会建立一个处理请求的子进程或线程的池。

yum install httpd
service httpd start
chkconfig httpd on

  我们打开浏览器,输入192.168.1.30

  这样说明httpd服务正常运行。

七:安装createrepo

yum install createrepo

八:安装yum-utils

yum install yum-utils

九:拷贝资源文件

  通过Xftp4将文件copy到/var/www/html/hdp目录,如果没有该目录,创建。

cd /var/www/html
ls -al
#创建hdp目录
mkdir hdp

  开始Copy,这里使用的都是最新的hdp和ambari,大家是不是开始激动了。

  这里主要是HDP-2.3.0.0-centos6-rpm.tar和HDP-UTILS-1.1.0.20-centos6.tar要拷贝进来,剧透下,后面我们使用ambari安装的时候,需要这两个库。

十:解压缩文件

tar zxvf HDP-2.3.0.0-centos6-rpm.tar.gz 

tar zxvf HDP-UTILS-1.1.0.20-centos6.tar.gz

  我们可以明显的看到多了两个绿色的目录。

十一:创建基于html的创建源

  在html的目录下,执行

createrepo hdp

  执行完成后,我们可以看到hdp目录会多一个repodata的新目录。

-------------------------------------------------------------------------------

  到此,我们这部分内容暂时落幕,剩下的本地库的留到下一章节补充完善。

 

系列索引

  【源】从零自学Hadoop系列索引

 

本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作。

文章是哥(mephisto)写的,SourceLink

从零自学Hadoop(04):Linux准备下的更多相关文章

  1. 从零自学Hadoop系列索引

    本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 从零自学Hadoop(01):认识Hadoop ...

  2. 从零自学Hadoop(03):Linux准备上

    阅读目录 序 检查列表 常用Linux命令 搭建环境 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,Sou ...

  3. 从零自学Hadoop(13):Hadoop命令下

    阅读目录 序 MapReduce Commands User Commands Administration Commands YARN Commands User Commands Administ ...

  4. 从零自学Hadoop(21):HBase数据模型相关操作下

    阅读目录 序 变量 数据模型操作 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 ...

  5. 从零自学Hadoop(17):Hive数据导入导出,集群数据迁移下

    阅读目录 序 将查询的结果写入文件系统 集群数据迁移一 集群数据迁移二 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephis ...

  6. 从零自学Hadoop(25):Impala相关操作下

    阅读目录 序 导入数据 查询 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 上一 ...

  7. 从零自学Hadoop(22):HBase协处理器

    阅读目录 序 介绍 Observer操作 示例下载 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,Sour ...

  8. 从零自学Hadoop(01):认识Hadoop

    本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 阅读目录 序 Hadoop 项目起源 优点 核心 ...

  9. 从零自学Hadoop(06):集群搭建

    阅读目录 序 集群搭建 监控 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 上一 ...

随机推荐

  1. Pig语言基础-【持续更新中】

      ***本文参考了Pig官方文档以及已有的一些博客,并加上了自己的一些知识性的理解.目前正在持续更新中.***   Pig作为一种处理大规模数据的高级查询语言,底层是转换成MapReduce实现的, ...

  2. Maven full settings.xml

    <?xml version="1.0" encoding="UTF-8"?> <!-- Licensed to the Apache Soft ...

  3. Oracle 11g 卸载

    1.关闭oracle所有的服务.可以在windows的服务管理器中关闭: 2.打开注册表:regedit 打开路径: HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlS ...

  4. phpcmsv9 幻灯片管理模块_UTF8

    幻灯片管理模块简介: .可创建多个位置,一个网站多个幻灯处调用互不影响. .独立模块,不修改系统内核,不用担心升级问题. .标签调用灵活. 安装: .复制本目录下面的phpcms目录到你的V9根目录下 ...

  5. 常州培训 day2 解题报告

    第一题: 题目大意: 给出一个M面的骰子,投N次,求最大期望值. 最大期望值的定义: 比如M=2,N=2, 那么 2次可以是 1,1,最大值为1: 1,2最大值为2: 2,1最大值为2: 2,2 最大 ...

  6. CAS分析——Core

    国内私募机构九鼎控股打造APP,来就送 20元现金领取地址:http://jdb.jiudingcapital.com/phone.html内部邀请码:C8E245J (不写邀请码,没有现金送)国内私 ...

  7. angularjs 创建自定义的指令

    创建自定义的指令 除了 AngularJS 内置的指令外,我们还可以创建自定义指令. 你可以使用 .directive 函数来添加自定义的指令. 要调用自定义指令,HTMl 元素上需要添加自定义指令名 ...

  8. poj 2253 Frogger (最长路中的最短路)

    链接:poj 2253 题意:给出青蛙A,B和若干石头的坐标,现青蛙A想到青蛙B那,A可通过随意石头到达B, 问从A到B多条路径中的最长边中的最短距离 分析:这题是最短路的变形,曾经求的是路径总长的最 ...

  9. 4. React 属性和状态介绍

            React 中的属性和状态初看之下可以互相替代,但是在 React 的设计哲学中两者有着截然不同的使用方式和使用场景. 属性的含义和用法         props = propert ...

  10. Notify和NotifyAll的区别?

    Notify和NotifyAll都是用来对对象进行状态改变的方式,只是他们的作用域不太一样,从字面上就能看的出来,当对象被上锁之后,当其他的方法要去访问该对象中的数据,就需要该对象对其进行解锁,当然, ...