终于将这个神秘的寻象人 oozie 安装配置成功了,这个困扰我好几天, 当看到如下的画面, 我觉得值!

废话少说,看我如何编译和安装过程:

(已经将hadoop2.5.2HA 的环境搭建起来了,hive,habase, flume,stom 都有了

Linux环境:centos6.5  64bit

jdk :1.7

mysql 已经安装

Apache Maven 3.1.1

下载oozie安装包:oozie-4.1.0.tar.gz    http://mirror.bit.edu.cn/apache/oozie/

下载ext-2.2.zip  http://oozie.apache.org/docs/4.0.1/DG_QuickStart.html该路径有extjs的链接

1、编译

去http://mirrors.cnnic.cn/apache/oozie/4.2.0/

下载的是oozie-4.2.0.tar.gz

,而后进行解压:

tar -zxvf oozie-4.2.0.tar.gz

cd oozie-4.2.0/bin

./mkdistro.sh -DskipTests -Phadoop-2 -Dhadoop.auth.version=2.5.2 -Ddistcp.version=2.5.2 -Dsqoop.version=1.4.4 -Dhive.version=0.13.1

-Dtomcat.version=7.0.52

进行了漫长的等,网络问题一直困扰我,我就重复执行上面的命令,发现,最终到了这里,

 那个编译到这里就错了

[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Apache Oozie Main ................................. SUCCESS [6.824s]
[INFO] Apache Oozie Hadoop Utils hadoop-2-4.2.0 .......... SUCCESS [9.525s]
[INFO] Apache Oozie Hadoop Distcp hadoop-2-4.2.0 ......... SUCCESS [0.444s]
[INFO] Apache Oozie Hadoop Auth hadoop-2-4.2.0 Test ...... SUCCESS [1.027s]
[INFO] Apache Oozie Hadoop Libs .......................... SUCCESS [0.101s]
[INFO] Apache Oozie Client ............................... SUCCESS [5:08.683s]
[INFO] Apache Oozie Share Lib Oozie ...................... SUCCESS [9.351s]
[INFO] Apache Oozie Share Lib HCatalog ................... SUCCESS [11.656s]
[INFO] Apache Oozie Share Lib Distcp ..................... SUCCESS [3.151s]
[INFO] Apache Oozie Core ................................. SUCCESS [3:53.804s]
[INFO] Apache Oozie Share Lib Streaming .................. SUCCESS [13.230s]
[INFO] Apache Oozie Share Lib Pig ........................ SUCCESS [15.454s]
[INFO] Apache Oozie Share Lib Hive ....................... SUCCESS [13.747s]
[INFO] Apache Oozie Share Lib Hive 2 ..................... SUCCESS [14.417s]
[INFO] Apache Oozie Share Lib Sqoop ...................... SUCCESS [5.546s]
[INFO] Apache Oozie Examples ............................. SUCCESS [10.178s]
[INFO] Apache Oozie Share Lib Spark ...................... SUCCESS [15.450s]
[INFO] Apache Oozie Share Lib ............................ SUCCESS [52.422s]
[INFO] Apache Oozie Docs ................................. FAILURE [9.477s]
[INFO] Apache Oozie WebApp ............................... SKIPPED
[INFO] Apache Oozie Tools ................................ SKIPPED
[INFO] Apache Oozie MiniOozie ............................ SKIPPED
[INFO] Apache Oozie Distro ............................... SKIPPED
[INFO] Apache Oozie ZooKeeper Security Tests ............. SKIPPED
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 12:21.113s
[INFO] Finished at: Wed Oct 26 05:39:28 CST 2016
[INFO] Final Memory: 174M/482M
[INFO] ------------------------------------------------------------------------
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-site-plugin:2.0-be                                                                                        ta-6:site (default) on project oozie-docs: The site descriptor cannot be resolve                                                                                        d from the repository: Could not transfer artifact org.apache:apache:xml:site_en                                                                                        :16 from/to Codehaus repository (http://repository.codehaus.org/): repository.co                                                                                        dehaus.org: 未知的名称或服务
[ERROR] org.apache:apache:xml:16
[ERROR]
[ERROR] from the specified remote repositories:
[ERROR] central (http://repo1.maven.org/maven2, releases=true, snapshots=false),
[ERROR] ce d (https://repository.cloudera.com/cloudera/ext-release-local/, relea                                                                                        ses=true, snapshots=false),
[ERROR] Codehaus repository (http://repository.codehaus.org/, releases=true, sna                                                                                        pshots=false),
[ERROR] cloudera com (https://repository.cloudera.com/content/repositories/relea                                                                                        ses/, releases=true, snapshots=false),
[ERROR] central maven (http://central.maven.org/maven2/, releases=true, snapshot                                                                                        s=false),
[ERROR] apache.snapshots.repo (https://repository.apache.org/content/groups/snap                                                                                        shots, releases=true, snapshots=true),
[ERROR] datanucleus (http://www.datanucleus.org/downloads/maven2, releases=true,                                                                                         snapshots=false),
[ERROR] apache.snapshots (http://repository.apache.org/snapshots, releases=false                                                                                        , snapshots=true): Unknown host repository.codehaus.org: 未知的名称或服务
[ERROR] -> [Help 1]
[ERROR]
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e swit                                                                                        ch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR]
[ERROR] For more information about the errors and possible solutions, please rea                                                                                        d the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionE                                                                                        xception
[ERROR]
[ERROR] After correcting the problems, you can resume the build with the command
[ERROR]   mvn <goals> -rf :oozie-docs

ERROR, Oozie distro creation failed

  

无奈,然后又去编译,3.3.2 的,结果:

到了这里,也是实在无法编译下去了,

到此,我即去网找原因:

都告告诉我是: maven的仓储地址的问题,于是我换了仓储的配置:

oozie 根目录下,

pom.xml中,修改:<repositories></repositories> 中的仓储,修改如下:

<repositories>
	   <repository>
            <id>cloudera com</id>
            <url>https://repository.cloudera.com/content/repositories/releases/</url>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>

        <repository>
            <id>central</id>
            <url>http://repo1.maven.org/maven2</url>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>

		<repository>
            <id>central maven</id>
            <url>http://central.maven.org/maven2/</url>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>

        <repository>
            <id>Codehaus repository</id>
            <url>http://repository.codehaus.org/</url>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
        <repository>
            <id>apache.snapshots.repo</id>
            <url>https://repository.apache.org/content/groups/snapshots</url>
            <name>Apache Snapshots Repository</name>
            <snapshots>
                <enabled>true</enabled>
            </snapshots>
        </repository>
        <repository>
            <id>datanucleus</id>
            <url>http://www.datanucleus.org/downloads/maven2</url>
            <name>Datanucleus</name>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
    </repositories>

 

完了之后,继续编译

[INFO] Apache Oozie Docs ................................. FAILURE [9.477s]

ping 地址好像可以,

实在不清楚为啥, 尝试了几次不行, 估计是哪里需要改的,我没办法,之候在去解决

2.改变方案,用其他编译好的,

于是用的是cloudera公司的

http://archive.cloudera.com/cdh5/cdh/5/

这个:http://archive.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.8.2.tar.gz

,下载后解压:tar -zxvf oozie-4.1.0-cdh5.8.2.tar.gz

这个是支持的hadoop2.6的

那我将将他换成了我的hadoop版本hadoop2.5.2

具体做法是:(多谢他了)

这个参考这个地址:http://www.mamicode.com/info-detail-490284.html

1.      解压

cp oozie-4.1.0-distro.tar.gz /home/hadoop

cd /home/hadoop

tar xvzf oozie-4.1.0-distro.tar.gz

/home/hadoop/oozie-4.1.0即为oozie的根目录

2.      设置环境变量

vi  /etc/profile

export OOZIE_HOME=/home/hadoop/oozie-4.1.0

export PATH=$PATH:$OOZIE_HOME/bin

自后,在source /etc/profile   使他生效

3.      引入jar包

在OOZIE_HOME下创建libext文件夹

mkdir libext

将hadoop的所有jar包复制到该目录下

cp  $HADOOP_HOME/share/hadoop/*/hadoop-*.jar  ./libext/

cp  $HADOOP_HOME/share/hadoop/*/lib/*.jar  ./libext/

cp  mysql-connector-java-5.1.29-bin.jar   ./libext/

删除libext中的jasper*.jar, servlet-api.jar, jsp-api.jar,与oozie-4.0.1/oozie-server/lib/下jar包冲突,war包会报:

org.eclipse.jdt.internal.compiler.CompilationResult.getProblems()[Lorg/eclipse/jdt/core/compiler/IProblem

4.       生成war包

bin/oozie-setup.sh prepare-war

会生成@OOZIE_HOME/oozie-server/webapps/oozie.war

解压ext-2.2.zip后生成ext-2.2文件夹,将该文件夹打入oozie.war。他的做法是在后面启动服务之后oozie.war包会解压为oozie,让后将ext-2.2直接拖进去。

(我的做法是,将上面的oozie.war,下载到桌面,用解压工具打开,而后将 ext-2.2.zip 拖到 oozie.war中,后来发现,其实是不用的,我打开后就有)

注:1.在网上看到用以下命令可以生成oozie.war,并已经将ext-2.2.zip打入了war包之中

./addtowar.sh -inputwar $OOZIE_HOME/oozie.war -outputwar $OOZIE_HOME/oozie-server/webapps/oozie.war -hadoop 2.3.0  $HADOOP_HOME -extjs /home/oozie/ext-2.2.zip

2.你的有那个zip和unzip 的命令,否则会包错误,去root用户下,用yum -y install unzip 和yum -y install zip  安装即可

5.      修改配置

vi $OOZIE_HOME/conf/oozie-site.xml

<property>

   <name>oozie.service.JPAService.jdbc.driver</name>

   <value>com.mysql.jdbc.Driver</value>

    <description>

        JDBC driver class.

    </description>

</property>

<property>

   <name>oozie.service.JPAService.jdbc.url</name>

   <value>jdbc:mysql://mysql-server:3306/oozie</value>

    <description>

        JDBC URL.

    </description>

</property>

<property>

   <name>oozie.service.JPAService.jdbc.username</name>

    <value>root</value>

    <description>

        DB user name.

    </description>

</property>

<property>

   <name>oozie.service.JPAService.jdbc.password</name>

    <value>mapengbo</value>

    <description>

        DB user password.

    </description>

</property>

  

6.      创建数据库

创建名为oozie的数据库并赋权

CREATE DATABASE oozie;

grant all ON oozie.* TO ‘shirdrn‘@‘oozie-server‘IDENTIFIED BY ‘0o21e‘;

FLUSH PRIVILEGES;

生成所需的数据库表,并执行

bin/ooziedb.sh create -sqlfile oozie.sql –run

查看数据库oozie生成了oozie的相关表。

7.      启动服务

bin/oozied.sh start

访问控制台http://hadoop1:11000/oozie  hadoop1为我的主机名

四.配置hadoop的jobhistory和用户

修改$HADOOP_HOME/etc/hadoop/mapred-site.xml

和$OOZIE_HOME/conf/hadoop-conf/core-site.xml添加如下配置。

<property>
       <name>mapreduce.jobhistory.address</name>
        <value>node3:10020</value>
     </property>

    <property>
       <name>mapreduce.jobhistory.webapp.address</name>
        <value>node3:19888</value>
     </property>

     <property>
       <name>mapreduce.jobhistory.intermediate-done-dir</name>
       <value>${hadoop.tmp.dir}/mr/history-tmp</value>
     </property>

    <property>
        <name>mapreduce.jobhistory.done-dir</name>
       <value>${hadoop.tmp.dir}/mr/history-done</value>
</property>

  

需要在hadoop的core-site.xml里面添加如下内容:

 <property>

                <name>hadoop.proxyuser.root.hosts</name>

                <value>*</value>

         </property>

         <property>

                <name>hadoop.proxyuser.root.groups</name>

                <value>*</value>

         </property>

  

root为hadoop的用户,hadoop.proxyuser.root.groups属性配置用户所属组名称,配置完成重启hadoop

   你也可以写成这样:hadoop.proxyuser.[USER].hosts和hadoop.proxyuser.[USER].groups

 

启动hadoop历史jobHistory服务

$HADOOP_HOME/sbin/mr-jobhistory-daemon.shstart historyserver    //这个我是重启的hadoop集群

重启oozie

bin/oozied.sh start

五.Client测试

tar –zxvf oozie-client-4.1.0.tar.gz   //这个我用到是之前编译的oozie4.2.0里编译好的,发现我下载的那个cloudera的里面没有这个

              //地址:链接:http://pan.baidu.com/s/1eSBOdEi 密码:q1nw

tar –zxvf oozie-examples.tar.gz

tar –zxvf oozie-sharelib-4.1.0.tar.gz

hdsf dfs -put examples  hdfs:/myserver/user/hadoop/

hdsf dfs -put share  /user/hadoop/      --//这个后来发现不行,需要在oozie-site.xml中配置到本地的目录路径,

//配置oozie.service.WorkflowAppService.system.libpath

A.修改$OOZIE_HOME/conf/oozie-site.xml文件,添加如下:

<property>
<name>oozie.service.WorkflowAppService.system.libpath</name>
<value>file:///home/${user.name}/oozie-4.1.0-cdh5.8.2/share/lib</value>
</property>

B.修改$OOZIE_HOME/conf/hadoop-conf/core-site.xml文件,添加如下:

<property>

   <name>yarn.resourcemanager.address</name>

      <value>node1:8032</value>(应与hadoop的配置相同,

                            这个我是在http://你的mapreduce主机名:8088/conf 下找到,并将其改的 同下)

</property>

<property>

     <name>yarn.resourcemanager.scheduler.address</name>

      <value>node1:8030</value>

</property>

  

C.修改oozie.service.HadoopAccessorService.hadoop.configurations 属性,将其值调整为 *=HADOOP_HOME/etc/hadoop

---//这个我没有如何配置, 你可以看一下这个人配置的http://heylinux.com/archives/2836.html

D.修改$OOZIE_HOME/examples/apps/map-reduce/job.properties(yarn中已经没有jobTracker,以下jobTracker填入yarn.resourcemanager.address的值,oozie.wf.application.path即HDFS中oozie示例程序的路径)

    nameNode=hdfs://node1:9000

    jobTracker=node1:8032

    queueName=default

    examplesRoot=examples

    oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/map-reduce

    outputDir=map-reduce

  

在$OOZIE_HOME/oozie-client-4.0.1/bin中调用oozie脚本,执行工作流

./oozie job -oozie http://node3:11000/oozie -config $OOZIE_HOME/examples/apps/map-reduce/job.properties -run

访问控制台http://hadoop1:11000/oozie

完工!

配置oozie4.10+hadoop2.5.2的更多相关文章

  1. .NET Core采用的全新配置系统[10]: 配置的同步机制是如何实现的?

    配置的同步涉及到两个方面:第一,对原始的配置文件实施监控并在其发生变化之后从新加载配置:第二,配置重新加载之后及时通知应用程序进而使后者能够使用最新的配置.要了解配置同步机制的实现原理,先得从认识一个 ...

  2. 配置hadoop-eclipse-plugin(版本hadoop2.7.3):

    配置hadoop-eclipse-plugin(版本hadoop2.7.3): 1:首先下载我们需要的  hadoop-eclipse-plugin-2.7.3.jar,winutils.exe 和  ...

  3. Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0

    Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0 环境 本教程使用 CentOS 6.4 32位 作为系统环境,请自行安装系统.如果用的是 Ubuntu 系统,请查 ...

  4. Hadoop:eclipse配置hadoop-eclipse-plugin(版本hadoop2.7.3)

    配置hadoop-eclipse-plugin(版本hadoop2.7.3): 1:首先下载我们需要的  hadoop-eclipse-plugin-2.7.3.jar,winutils.exe 和 ...

  5. nginx缓存静态资源,只需几个配置提升10倍页面加载速度

    nginx缓存静态资源,只需几个配置提升10倍页面加载速度 首先我们看图说话 这是在没有缓存的情况下,这个页面发送了很多静态资源的请求:   1.png 可以看到,静态资源占用了整个页面加载用时的90 ...

  6. Ubuntu 12.10 配置MyEclipes 10.7环境(加破解)

    下周要在Ubuntu中调试程序,所以今天抽空先配置好Myeclipse环境. 准备: JDK  下载地址: http://www.oracle.com/technetwork/java/javase/ ...

  7. 2.Linux环境下配置Solr4.10.3

    转载请出自出处:http://www.cnblogs.com/hd3013779515/ 1.准备阶段 操作系统:CentOS 6.8 安装包:/home/test solr-4.10.3.tgz.t ...

  8. Cenos6.6 升级 python3.5.2 安装配置 django1.10

    1 准备编译环境(环境如果不对的话,可能遇到各种问题,比如wget无法下载https链接的文件) yum groupinstall 'Development Tools' yum install zl ...

  9. FreeBSD-安装与配置(10.3@VMware)

    (#今天尝试了一天,装上了FreeBSD:记录几个重要的地方 bsdinstall/bsdconfig 善用ports,本地源 善用handbook以及doc pkg install XXX,装上Xo ...

随机推荐

  1. jQuery的$.ajax示例

    $.ajax({ url: 'index.php?module=products&submod=product_experience_manage&method=ajaxGetSele ...

  2. 一道常考fork题挖掘

    #include <stdio.h> #include <sys/types.h> #include <unistd.h> int main(void) { int ...

  3. c#上传文件(二)使用文件流保存文件

    1.html代码: <asp:FileUpload runat="server" ID="UpLoadFile"/> <asp:Button ...

  4. css3字阴影text-shadow

    看到text-shadow这句代码,眼尖的同学是不是觉得很熟悉?没错,前面我们已经学习过<css3基础教程五边框box-shadow>,而且这两者非常相近,只要以前的课程学好了,text- ...

  5. Unity 4.6 uGUI的点击事件

    因为Unity 4.6刚刚发布,自带的uGUI功能的相关资料还不是很完善,今天刚装的Unity 4.6,想看一下uGUI是否好用,那么开始就今天的学习吧啊! 1,新建一个空的工程.

  6. 使用netty构建一个socks proxy

    使用netty构建一个socks proxy   最近在做的项目,需要自己搭建一个socks代理.netty4.0附带了一个socks代理的样例,但是3.x就没有这个东西了,碰巧使用的又是3.7,就只 ...

  7. tar解压

    tar在linux上是常用的打包.压缩.加压缩工具,他的参数很多,折里仅仅列举常用的压缩与解压缩参数 参数: -c :create 建立压缩档案的参数:-x : 解压缩压缩档案的参数:-z : 是否需 ...

  8. shell练习题4

    需求如下: 系统logrotate工具,可以完成日志切割.归档.写一个shell脚本实现类似功能. 举例:假如服务的输出日志是1.log,要求每天归档一个,1.log第二天就变成1.log.1, 第三 ...

  9. 最新OFFICE 0day漏洞分析

    漏洞概述 fireeye最近公布了一个OFFICE 0day,在无需用户交互的情况下,打开word文档就可以通过hta脚本执行任意代码.经过研究发现,此漏洞的成因主要是word在处理内嵌OLE2LIN ...

  10. .net 架构

    .net Webservice 三层架构,BLL(业务逻辑层),DAL(数据访问层)sql语句.MODEL模型层也就是实体层Entity(数据库字段和类的定义的映射). UI层(Web/Form)界面 ...