HDFS-Could not obtain block

 

MapReduce Total cumulative CPU time: 33 seconds 380 msec

Ended Job = job_201308291142_4635 with errors

Error during job, obtaining debugging information...

Job Tracking URL: http://xxx /jobdetails.jsp?jobid=job_201308291142_4635

Examining task ID: task_201308291142_4635_m_000019 (and more) from job job_201308291142_4635

Examining task ID: task_201308291142_4635_m_000007 m(and more) from job job_201308291142_4635

Examining task ID: task_201308291142_4635_m_000009 (and more) from job job_201308291142_4635

 

Task with the most failures(5):

-----

Task ID:

  task_201308291142_4635_m_000009

 

URL:

  http://xxxxxxx:50030/taskdetails.jsp?jobid=job_201308291142_4635&tipid=task_201308291142_4635_m_000009

-----

Diagnostic Messages for this Task:

java.io.IOException: java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-1555036314-10.115.5.16-1375773346340:blk_-2678705702538243931_541142 file=/user/hive/warehouse/playtime/dt=20131119/access_pt.log.2013111904.log

        at org.apache.hadoop.hive.io.HiveIOExceptionHandlerChain.handleRecordReaderNextException(HiveIOExceptionHandlerChain.java:121)

        at org.apache.hadoop.hive.io.HiveIOExceptionHandlerUtil.handleRecordReaderNextException(HiveIOExceptionHandlerUtil.java:77)

        at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileRecordReader.doNextWithExceptionHandler(HadoopShimsSecure.java:330)

        at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileRecordReader.next(HadoopShimsSecure.java:246)

        at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.moveToNext(MapTask.java:215)

        at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.next(MapTask.java:200)

        at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:48)

        at org.apache.hadoop.mapred.MapTask.runOldMa 

 

  •   Reson
  •  Solution 

     　HDFS FILE 

            - If HDFS block is missing 

         1. confirm status

              Confirm missing block is exit or not.

              If missing block is over 1, file is not able to read. 

 $ hadoop dfsadmin -report

 

 Configured Capacity: 411114887479296 (373.91 TB)

Present Capacity: 411091477784158 (373.89 TB)

DFS Remaining: 411068945908611 (373.87 TB)

DFS Used: 22531875547 (20.98 GB)

DFS Used%: 0.01%

Under replicated blocks: 0

Blocks with corrupt replicas: 0

Missing blocks: 0

 

-------------------------------------------------

Datanodes available: 20 (20 total, 0 dead)

 

             2. detail block file

               hadoop fsck

      hadoop fsck / -files -blocks

    

...

Status: HEALTHY

 Total size:    4056908575 B (Total open files size: 3505453 B)

 Total dirs:    533

 Total files:   15525 (Files currently being written: 2)

 Total blocks (validated):  15479 (avg. block size 262091 B) (Total open file blocks (not validated): 2)

 Minimally replicated blocks:   15479 (100.0 %)

 Over-replicated blocks:    0 (0.0 %)

 Under-replicated blocks:   0 (0.0 %)

 Mis-replicated blocks:     0 (0.0 %)

 Default replication factor:    3

 Average block replication: 3.0094967

 Corrupt blocks:        0

 Missing replicas:      0 (0.0 %)

 Number of data-nodes:      20

 Number of racks:       1

FSCK ended at Tue Nov 19 10:17:19 KST 2013 in 351 milliseconds

 

The filesystem under path '/' is HEALTHY

 

            3.  remove corrupted file

 $ hadoop fsck -delete

 

.....

.........................Status: HEALTHY

 Total size:    4062473881 B (Total open files size: 3505453 B)

 Total dirs:    533

 Total files:   15525 (Files currently being written: 2)

 Total blocks (validated):      15479 (avg. block size 262450 B) (Total open file blocks (not validated): 2)

 Minimally replicated blocks:   15479 (100.0 %)

 Over-replicated blocks:        0 (0.0 %)

 Under-replicated blocks:       0 (0.0 %)

 Mis-replicated blocks:         0 (0.0 %)

 Default replication factor:    3

 Average block replication:     3.0094967

 Corrupt blocks:                0

 Missing replicas:              0 (0.0 %)

 Number of data-nodes:          20

 Number of racks:               1

FSCK ended at Tue Nov 19 10:21:41 KST 2013 in 294 milliseconds

 

 

The filesystem under path '/' is HEALTHY

     

           HIVE FILE 

               -  If hive block is missing 

       alter table drop partition 

 

hadoop 突然断电数据丢失问题的更多相关文章

  1. Linux实战教学笔记02:计算机系统硬件核心知识

    标签(空格分隔):Linux实战教学笔记-陈思齐 第1章 互联网企业常见服务器介绍 1.1 互联网公司服务器品牌 - DELL(大多数公司,常用) - HP - IBM(百度在用) 浪潮 联想 航天联 ...

  2. 【Python全栈笔记】00 12-14 Oct Linux 和 Python 基础

    Linux 基础认识 更加稳定,安全,开源 设置好ssh协议后可以通过windows系统连接Linux,基于ssh协议进行通信 '/' 为根目录 cd / -> 切换到根目录 ls -lh 列出 ...

  3. Day1 - 服务器硬件基础

    1.1 关于运维人员 1.1.1 运维的职责 1.保证服务器7*24小时 运行 2.保证数据不能丢 3.提高用户的体验(网站打开的速度) 1.1.2 运维原则 简单.易用.高效  === 简单.粗暴 ...

  4. Ceph: A Scalable, High-Performance Distributed File System译文

    原文地址:陈晓csdn博客 http://blog.csdn.net/juvxiao/article/details/39495037 论文概况 论文名称:Ceph: A Scalable, High ...

  5. memcached 缓存数据库应用实践

    1.1 数据库对比 缓存: 将数据存储到内存中,只有当磁盘胜任不了的时候,才会启用缓存   缺点:断电数据丢失(双电),用缓存存储数据的目的只是为了应付大并发的业务. 数据库: mysql(关系型数据 ...

  6. DDMS和程序打包过程

    1. Android版本对应api级别 2.3~~~~~10 3.0~~~~~11 4.0~~~~~14 4.1.2~~~16 2.3和4.1.2是最稳定的 2.Android手机常见分辨率 320* ...

  7. python编程基础--计算机原理之硬件基础

    一.寄存器:寄存器是CPU内部用来存放数据的一些小型存储区域,用来暂时存放参与运算的数据和运算结果. 1.寄存器的特性: 1)寄存器位于CPU内部,数量很少,仅十四个: 2)寄存器所能存储的数据不一定 ...

  8. Python--day01（计算机基础）

    Python: python 是一门面向后台的编程语言,在大数据,数据分析,机器学习,人工智能,爬虫,自动化运维,web等方面具有强大功能. 基础阶段学习内容:基本语法,文件处理,函数,模块,面向对象 ...

  9. Quartz.net 3.x使用总结(二)——Db持久化和集群

    上一篇简单介绍了Quartz.net的概念和基本用法,这一篇记录一下Quartz.net通过数据库持久化Trigger和Jobs等数据,并简单配置Quartz.net的集群. 1.JobStore介绍 ...

随机推荐

  1. 对JavaScript中异步同步机制以及线程深入了解

    今天在网上看到各种对Js异步同步单线程多线程的讨论 经过前辈们的洗礼 加上鄙人小小的理解 就来纸上谈兵一下吧~ Js本身就是单线程的 至于为什么Js是单线程的 那就要追溯到Js的历史了 总而言之 由于 ...

  2. 洛谷 P1372 又是毕业季I Label:None

    题目背景 “叮铃铃铃”,随着高考最后一科结考铃声的敲响,三年青春时光顿时凝固于此刻.毕业的欣喜怎敌那离别的不舍,憧憬着未来仍毋忘逝去的歌.1000多个日夜的欢笑和泪水,全凝聚在毕业晚会上,相信,这一定 ...

  3. 【News】SpagoBI中国官方微信对外发布

    爱数据,爱分析,爱达比 致力于国际优秀开源BI应用在中国的普及推广,用数据开启中小企业智慧之门: 扫描上图二维码,关注SpagoBI中国官方微信,2015年8月18日将在腾讯课堂.百度传课.网易云课堂 ...

  4. matlab练习程序（射线法判断点与多边形关系）

    依然是计算几何. 射线法判断点与多边形关系原理如下: 从待判断点引出一条射线,射线与多边形相交,如果交点为偶数,则点不在多边形内,如果交点为奇数,则点在多边形内. 原理虽是这样,有些细节还是要注意一下 ...

  5. python 解析XML python模块xml.dom解析xml实例代码

    分享下python中使用模块xml.dom解析xml文件的实例代码,学习下python解析xml文件的方法. 原文转自:http://www.jbxue.com/article/16587.html ...

  6. Linux学习系列之Linux入门（三）gcc学习

    GCC(GNU Compiler Collection,GNU编译器套装),是一套由GNU开发的编程语言编译器.它是一套以GPL及LGPL许可证所发布的自由软件,也是GNU计划的关键部分,亦是自由的类 ...

  7. 开涛spring3(2.2) - IoC 容器基本原理及其helloword

    2.2.1  IoC容器的概念 IoC容器就是具有依赖注入功能的容器,IoC容器负责实例化.定位.配置应用程序中的对象及建立这些对象间的依赖.应用程序无需直接在代码中new相关的对象,应用程序由IoC ...

  8. Oracle教程之学习笔记

    Oracle教程之学习笔记... ----------------------------------- Oracle教程:---学习笔记: ============================= ...

  9. 使用FsCheck编写Property-based测试

    使用FsCheck编写Property-based的测试 在编写基于Property-based的单元测试一文中,我们介绍了什么是Property-based测试.同时我们也总结了Property-b ...

  10. [20190423]简单测试latch nowilling等待模式.txt

    [20190423]简单测试latch nowilling等待模式.txt --//我对这个问题的理解就是如果参数willing=0,表示无法获取该latch,直接退出,再寻找类似的latch.--/ ...