bash检查文件格式

情形描述：最近在做一个ETL的项目，用的是CLoverETL，需要在拿到文件后对文件格式进行检验，以决定是否继续。

主要功能是检查每个文件中有几个“|”符号，项目中约定以该符号来作为分隔，所以检查每个文件每行的“|”的个数。没有问题才可以插入到数据库中。

说明：

breakline=10表示如果一个文件中超过10行的格式不对，则不再计算
试了下，CloverETL这款工具中支持的通配符非常有限，所以类似Hengda_Payment_*_*_*_*这样看起来很怪的匹配方式

check_delimitor(){

    delimitor="|"

    breakline=

    path="${DATATMP_DIR}/bash_res.txt"

    i=

    while read line

    do

        num=$(echo $line|grep -o $delimitor|wc -l)

        if [ $num != $ ];then

            echo "$2|${i}|${NOW}" >> ${DATATMP_DIR}/bash_res.txt

            if [ $i -gt $breakline ]

            then

                echo "****More than ${i} lines format wrong in $2****" >> $path

                break

            fi

        fi

        let i++

    done < ${DATATMP_DIR}/$

}

for file in `ls ${DATATMP_DIR}`

do

    case $file in

    Hengda_Member_*)

    check_delimitor  $file

    ;;

    Hengda_Ticket_*)

    check_delimitor  $file

    ;;

    Hengda_Payment_*_*_*_*)

    check_delimitor  $file

    ;;

    Hengda_Payment_*)

    check_delimitor  $file

    ;;

    Hengda_Transaction_Non_Tickets_*)

    check_delimitor  $file

    ;;

    Hengda_Transaction_*)

    check_delimitor  $file

    ;;

    Hengda_Item_Non_Tickets_*)

    check_delimitor  $file

    ;;

    Hengda_Cinema_*)

    check_delimitor  $file

    ;;

    Hengda_Film_*_*)

    check_delimitor  $file

    ;;

    Hengda_Film_*)

    check_delimitor  $file

    ;;

    Hengda_Refer_*)

    check_delimitor  $file

    ;;

    *) echo "FILE NAME WRONG" ;;

    esac

done

bash检查文件格式的更多相关文章

js 检查文件格式和文件大小
之前有个工作需要用到js检查文件大小和文件格式,网上查了下有个兄弟写的不错,拿过来就能直接用,感谢他顺便记录下.原始文章地址http://www.jb51.net/article/43498.htm ...
check if a linux process is done using bash 检查进程是否在运行
# cat > check_process_is_end.sh while truedo sleep 30 # seconds res=`ps -ef | grep RNAhybrid` ...
Bash 翻译
Bash参考手册目录 1简介 1.1什么是Bash? 1.2什么是shell? 2定义 3基本外壳功能 3.1 Shell语法 3.1.1外壳操作 3.1.2报价 3.1.2.1逃逸角色 3.1.2 ...
linux命令帮助 man bash
BASH(1) BASH(1) NAME bash - GNU Bourne-Again SHell (GNU 命令解释程序 “Bourne二世”) 概述(SYNOPSIS) bash [option ...
使用Git Bash for Windows
本篇体验Git Bash在Windows操作系统上的用法. 什么是Bash? 是一个Shell环境,Bourne Again Shell的缩写. 安装git for windows → http:// ...
(转)linux bash shell 入门教程
Shell Script(bash)简介众所皆知地,UNIX上以小工具著名,利用许多简单的小工具,来完成原本需要大量软体开发的工作,这一点特色,使得UNIX成为许多人心目中理想的系统平台. 在众多的 ...
Bash Shell启动配置脚本的顺序
1.Bash检查环境变量文件的方式,取决于系统运行Shell的方式,通常系统运行Shell有3种方式: )通过系统用户登陆后默认运行的Shell )非登陆交互式运行Shell )执行脚本运行非交互式S ...
shell脚本，检查给出的字符串是否为回文
[root@localhost wyb]# .sh #!/bin/bash #检查给出的字符串是否为回文 read -p "Please input a String:" numb ...
shell 检查文件夹所属用户组
shell 检查文件夹所属用户组 #!/bin/bash # 检查文件夹权限是否777 检查文件夹所属组是否www # authro ranmufei # 2017 08 21 云板容器版 /dat ...

随机推荐

Android中build target，minSdkVersion，targetSdkVersion，maxSdkVersion概念区分（转载）
本文参考了谷歌开发者文档:http://developer.android.com/guide/topics/manifest/uses-sdk-element.html#provisional 如果 ...
mysql插入数据后返回自增ID的方法
mysql和oracle插入的时候有一个很大的区别是,oracle支持序列做id,mysql本身有一个列可以做自增长字段,mysql在插入一条数据后,如何能获得到这个自增id的值呢? 方法一是使用la ...
【C++ STL编程】queue小例子
STL是标准化组件,现在已经是C++的一部分,因此不用额外安装什么. #include <queue> #include <iostream> using namespace ...
Ubuntu软件中心打不开，Encountered a section with no Package: header错误之解决
sudo rm /var/lib/apt/lists/* -vf sudo apt-get update
RBL开发笔记一
从这个系列开始陆续记录整个RBL开发的过程废话不多说直入主题 10:54:53 2014-08-25 今天开发任务: RBL.h 的框架搭建出来包括RBLServer RB ...
C++嵌入Python，以及两者混用
以前项目中是C++嵌入Python,开发起来很便利,逻辑业务可以放到python中进行开发,容易修改,以及功能扩展.不过自己没有详细的研究过C++嵌入python的细节,这次详细的研究一下.首先我们简 ...
Thrift 个人实战--Thrift 服务化 Client的改造
前言: Thrift作为Facebook开源的RPC框架, 通过IDL中间语言, 并借助代码生成引擎生成各种主流语言的rpc框架服务端/客户端代码. 不过Thrift的实现, 简单使用离实际生产环境还 ...
排序算法总结（三）选择排序【Select Sort】
一.原理选择排序的原理非常简单,就是选出最小(大)的数放在第一位,在剩下的数中,选出最小(大)的数,放在第二位......重复上述步骤,直到最后一个数. 二.过程原始数据第一次排序,选出最小的数 ...
2016HUAS_ACM暑假集训2B - The Suspects（感染者）
并查集初步应用,还不是很熟练.并查集两个主要函数:Union和Find.Union通常把两条不连通的支路使其连通:Find用来查找根节点,必要的要进行路径压缩. 大致题意:0号学生是默认的感染者,在M ...
linux cpu性能测试
sysbench --test=cpu --cpu-max-prime=20000000 run --num-threads=4 mpstat -P ALL 1 1000000

bash检查文件格式

bash检查文件格式的更多相关文章

随机推荐

热门专题