以hdfsreader到hdfswriter为例进行说明:

1.datax的任务配置文件里需要指明使用的hadoop的配置文件,在datax+hadoop1.X的时候,可以直接使用hadoop1.X/conf/core-site.xml;

但是当要datax+hadoop2.X的时候,就需要将hadoop2.X/etc/core-site.xml和hadoop2.X/etc/hdfs-site.xml合成一个文件,同时可以命名为hadoop-site.xml.

2.在合成的hadoop-site.xml文件中,需要新增属性:

  <property>
    <name>fs.hdfs.impl</name>  <!--hdfsreader/hdfswriter的dir是hdfs://时需要增加,表示hdfs路径-->
    <value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
  </property>

  <property>
    <name>fs.file.impl</name>  <!--hdfsreader/hdfswriter的dir是file://时需要增加,表示本地路径-->
    <value>org.apache.hadoop.fs.LocalFileSystem</value>
  </property>

3.针对hdfsreader中需要增加一些依赖包,包括:

  -rw-r--r-- 1 hadoop hadoop 575389 Dec 18 16:24 commons-collections-3.2.1.jar

  -rw-r--r-- 1 hadoop hadoop 62050 Dec 18 16:23 commons-logging-1.1.3.jar

  -rw-r--r-- 1 hadoop hadoop 1648200 Dec 18 16:25 guava-11.0.2.jar
  -rw-r--r-- 1 hadoop hadoop 3318401 Dec 18 16:26 hadoop-common-2.6.2.jar
  -rw-r--r-- 1 hadoop hadoop 178199 Dec 18 16:26 hadoop-lzo-0.4.20-SNAPSHOT.jar
  -rw-r--r-- 1 hadoop hadoop 16380 Dec 18 15:29 hdfsreader-1.0.0.jar
  -rw-r--r-- 1 hadoop hadoop 18490 Dec 18 15:29 java-xmlbuilder-0.4.jar
  -rw-r--r-- 1 hadoop hadoop 2019 Dec 18 15:29 ParamKey.java
  -rwxr-xr-x 1 hadoop hadoop 18837 Dec 18 15:29 plugins-common-1.0.0.jar

  需要把hdfsread/hadoop-0.19.2-core.jar(hadoop*-core*.jar)删除。

4.针对hdfswriter中需要增加一些依赖包,包括:

  -rwxr-xr-x 1 hadoop hadoop 41123 Dec 18 16:40 commons-cli-1.2.jar

  -rw-r--r-- 1 hadoop hadoop 575389 Dec 18 16:34 commons-collections-3.2.1.jar
  -rw-r--r-- 1 hadoop hadoop 62050 Dec 18 16:34 commons-logging-1.1.3.jar
  -rw-r--r-- 1 hadoop hadoop 1648200 Dec 18 16:34 guava-11.0.2.jar
  -rwxr-xr-x 1 hadoop hadoop 67190 Dec 18 16:40 hadoop-auth-2.6.2.jar
  -rw-r--r-- 1 hadoop hadoop 3318401 Dec 18 16:34 hadoop-common-2.6.2.jar
  -rwxr-xr-x 1 hadoop hadoop 7915385 Dec 18 16:36 hadoop-hdfs-2.6.2.jar
  -rw-r--r-- 1 hadoop hadoop 178199 Dec 18 16:34 hadoop-lzo-0.4.20-SNAPSHOT.jar
  -rw-r--r-- 1 hadoop hadoop 14652 Dec 18 16:35 hdfswriter-1.0.0.jar
  -rwxr-xr-x 1 hadoop hadoop 31212 Dec 18 16:43 htrace-core-3.0.4.jar
  -rw-r--r-- 1 hadoop hadoop 18490 Dec 18 16:34 java-xmlbuilder-0.4.jar
  -rw-r--r-- 1 hadoop hadoop 657766 Dec 18 15:28 libhadoop.so
  -rw-r--r-- 1 hadoop hadoop 4374 Dec 18 15:28 ParamKey.java
  -rwxr-xr-x 1 hadoop hadoop 18837 Dec 18 16:34 plugins-common-1.0.0.jar
  -rwxr-xr-x 1 hadoop hadoop 533455 Dec 18 16:43 protobuf-java-2.5.0.jar

  需要把hdfsread/hadoop-0.19.2-core.jar(hadoop*-core*.jar)删除。

5.环境变量务必配置正确,比如:

  PATH=$PATH:$HOME/app/bin.    //错误,这种错误难以发现,且容易引发问题

  PATH=$PATH:$HOME/app/bin:.:  //正确,当前目录要单独用:隔开

datax+hadoop2.X兼容性调试的更多相关文章

  1. css不同浏览器兼容性调试 --- 转自: [http://wo.115.com/?ct=detail&amp;id=31733&amp;bid=1018841]

    css不同浏览器兼容性调试 IE6.0,IE7.0与Firefox的CSS兼容性问题1.DOCTYPE 影响 CSS 处理 2.FF: div 设置 margin-left, margin-right ...

  2. 兼容性调试-- 在谷歌浏览器中,td 设置colspan的失效的问题

    通过设置table width="100%"table-layout="fixed" 解决

  3. IE8兼容性调试及IE 8 css hack

    做网站开发,一提到IE,就会让人头大,有一肚子的牢骚要发:微软为什么不跟着国际标准走呢,总是独树一帜,搞出那么多问题来.IE的firebug调试工具也不太好用,尤其是低版本的IE,更是让人头疼. 最近 ...

  4. IE6+IE7+IE8+IE9+FF兼容性调试

    HACK原理:不同浏览器对各中字符的识别不同 (读完文章你会发现,FF和IE8对以下字符的识别能力完全相同) 在 CSS中常用特殊字符识别表: (1)*:  IE6+IE7都能识别*,而标准浏览器FF ...

  5. rtsp转rtmp、hls网页直播服务器EasyNVR前端兼容性调试:ie下的 pointer-events- none

    发现问题: 之前在做EasyNVR 的web页面开发过程中,力求的都是一个播放效果的.功能的展示.对于兼容性也有注意,但有些细节还是难免有所疏忽. 内部测试发现:由于我们是流媒体的实时视频直播,在we ...

  6. CSS 兼容性调试技巧

    CSS HACK 针对不同浏览器,书写不同的CSS代码的过程,称为“CSS HACK”. 也就是说:写一个CSS代码,让IE6识别,其它浏览器不识别. 下面,针对不同浏览器,有几个符号: 这些符号是在 ...

  7. CSS 常用的兼容性调试技巧

    1.实现所有浏览器主页居中 Firefox下主页居中代码:.box{margin:0px auto} IE5.5下主页居中代码:body{text-align:center;} 将以上两种代码,合在一 ...

  8. 关于网页pc端以及移动端的兼容性——测试

    对于经常做网页设计的人员来说,网页的兼容性测试是不可缺少的,记得刚来单位的新手,都是要安装一款浏览器测试软件的,看自己制作的网页是否在各大浏览器中正常显示,有没有变形,或者网页效果不兼容等. 不仅仅是 ...

  9. 测试 IE 浏览器兼容性 VirtualBox + modern.ie

    VirtualBox 是开源的虚拟机软件,常用的虚拟机软件还有 VMware / Hyper-V / Paralles Desktop . modern.ie 是微软官方提供的用于测试网页在各版本 I ...

随机推荐

  1. openstack中的身份管理

    原文:http://blog.csdn.net/xxfigo/article/details/8785748 原作者关于openstack的一系列文章http://blog.csdn.net/xxfi ...

  2. 学习smali

    添加控件id 在R$id.smali文件下添加: .field public static final adposition:I = 0x7f05003d 添加类中常量 MainActivity.sm ...

  3. 【floyd】 poj 2240

    #include <iostream> #include <map> #include <string> #include <memory.h> usi ...

  4. Bloom Filter(布隆过滤器)如何解决缓存穿透

    本文摘抄自我的微信公众号"程序员柯南",欢迎关注!原文阅读 缓存穿透是什么? 关于缓存穿透,简单来说就是系统处理了大量不存在的数据查询.正常的使用缓存流程大致是,数据查询先进行缓存 ...

  5. 四、Attribute

    Attribute分两种 Attribute称为特性,语法:特性(Attribute)的名称和值是在方括号内规定的,放置在它所应用的元素之前. 1.ActionFilterAttribute(过滤器) ...

  6. Integer类toString(int i,int radix)方法

    Integer类toString(int i,int radix)方法: 首先抛出java的api中的介绍: public static String toString(int i, int radi ...

  7. R实战 第十一篇:处理缺失值

    在真实的世界中,缺失数据是经常出现的,并可能对分析的结果造成影响.在R中,经常使用VIM(Visualization and Imputation of Missing values)包来对缺失值进行 ...

  8. ubuntu 用 apt get 安装某个包的某个版本

    1.首先用如下命令查询你的机器安装了哪些版本: dpkg -l 'apache2*' 2.然后用如下命令查询远程库存在哪些版本: apt-cache madison "libqt5gui5& ...

  9. Android判断网络是否打开,并打开设置网络界面

    由于Android的SDK版本不同所以里面的API和设置方式也是有少量变化的,尤其是在Android 3.0 及后面的版本,UI和显示方式也发生了变化,现在就以打开网络设置为例,同大家分享一下: 1. ...

  10. Final阶段第1周/共1周 Scrum立会报告+燃尽图 06

    作业要求[https://edu.cnblogs.com/campus/nenu/2018fall/homework/2485] 版本控制:https://git.coding.net/liuyy08 ...