出处:kelvin19840813 的博客 http://www.cnblogs.com/kelvin19840813/

您的支持是对博主最大的鼓励,感谢您的认真阅读。本文版权归作者所有,欢迎转载,但请保留该声明。

很多人都知道mysqlbinlog 解释出来的binlog的 insert , update 是位置相反的 , 还有表字段都是@1 ... @数字 , 很恶心!!!

但没看到有人在 mysql8.0 功能需求时提问题出来 , 自己也没有提出来 

唯有自己解释 frm 文件,获取表字段名称,字段出来, 然后对应一下贴贴贴上去翻译出binlog的sql语句咯 ,并不是高深东西 , 仅此日记记录

0000 ~ 0001: FE 01 识别是否frm文件 , 固定

0002: 0A 是mysql版本识别位置table.cc 的 FRM_VER+3+ MY_TEST(create_info->varchar);  为6是5.0+版本mysql , 9 或者 10是有varchar的frm文件

0003: 0C 影射枚举值从 handler.h文件中 legacy_db_type , 0C 是 12 刚刚好是innodb类型 ,如下:

enum legacy_db_type
{
DB_TYPE_UNKNOWN=0,DB_TYPE_DIAB_ISAM=1,

......, DB_TYPE_INNODB,
......
};

0004 ~ 0005: 03 00 , 反着看 00 30  mysql 5.0+ 总是为3 ,如果不是3,那就算了.....

0006 ~ 0007: 00 10 , 反着看 10 00  IO_SIZE: 4096

0008 ~ 0009: 01 00 暂时不知道是什么

000a ~ 000d: 00 40 00 00 暂时不知道是什么

000e ~ 000f: F9 16 tmp_key_length;如果等于0xffff然后密钥长度是4字节整数偏移0x002f

0010 ~ 0011: 18 08 rec_length ;这是一个默认值存储字符串的字节

0012 ~ 0015: 00 00 00 00 是 create table 语句的 MAX_ROWS 选项

0016 ~ 0019: 00 00 00 00 是 create table 语句的 min_rows 选项 , 在 handler.h 文件

typedef struct st_ha_create_information
{

.......

ulonglong max_rows,min_rows;

...}

001a: 00 没有用

001b: 02 总是2 , 使用长包字段

001c ~ 001d: A3 02 key_info_length - keyinfo部分字节大小

001e ~ 001f: 69 00 是create table [table_option] 的值 my_base.h 文件的 HA_OPTION_* 之类变量

0020: 没用

0021: 05 是 frm 文件的 版本号

0022 ~ 0025: 00 00 00 00 是create table [table_option] 指定的avg_row_length

0026: create table [table_option]  指定字符集编码 [DEFAULT] CHARACTER SET

0027: 00 不知道

0028: 02 是create table [table_option] 的 ROW_FORMAT

rem0types.h文件

enum rec_format_enum {

REC_FORMAT_REDUNDANT = 0, /*!< REDUNDANT row format */
REC_FORMAT_COMPACT = 1, /*!< COMPACT row format */
REC_FORMAT_COMPRESSED = 2, /*!< COMPRESSED row format */
REC_FORMAT_DYNAMIC = 3 /*!< DYNAMIC row format */
};

0029: 00 RAID_TYPE mysql 5之前的 create table [table_option] , 没有研究干嘛的

002a: 00 RAID_CHUNKS mysql 5之前的 create table [table_option] , 没有研究干嘛的

002b ~ 002e: 00 00 00 00 RAID_CHUNKSIZE mysql 5之前的 create table [table_option] , 没有研究干嘛的

002f ~ 0032: F9 16 00 00  index metadata keyinfo部分字节大小

0033 ~ 0036: BF C5 00 00 mysql版本号 ,涉及到一个字节序问题 , 机器是x86所以是Little-Endian ,链接如下:

http://baike.baidu.com/link?url=Dd2Z3o5aNoUYQPG6xqIgNwr-jrNS8BTK72r42WVxr-SHhva4TnMsHrEXTcE_N4F6ZEhhe18Akg3hOBe2Eb-M9K

都是unsigned int ( 占 4 bytes) , little-endian

生成 MYSQL_VERSION_MAJOR , MYSQL_VERSION_MINOR ,  MYSQL_VERSION_PATCH

0037 ~ 003a: 33 00 00 00 create table [table_option] extra_info 信息

  • CONNECTION
  • ENGINE
  • PARTITION BY
  • WITH PARSER
  • Table COMMENT

003b ~ 003c: 00 00 extra_rec_buf_length

003d: 00  如果是0C,  就是分区表  , 在handler.h文件的 DB_TYPE_PARTITION_DB = 12

003e ~ 003f: 00 00  create table [table_option] 的 KEY_BLOCK_SIZE 在handler.h文件的 ulong key_block_size;

跟着下来要定位 forminfo_offset , 就是表的字段开始位置

1. 提前准备知识,struct
 
Format C Python 字节数
x pad byte no value 1
c char string of length 1 1
b signed char integer 1
B unsigned char integer 1
? _Bool bool 1
h short integer 2
H unsigned short integer 2
i int integer 4
I unsigned int integer or long 4
l long integer 4
L unsigned long long 4
q long long long 8
Q unsigned long long long 8
f float float 4
d double float 8
s char[] string 1
p char[] string 1
P void * long  
 
2. little-endian & big-endian 的了解 , 一般来说 x86是 little-endian 

以下的都是固定长度 , 问题是要找出forminfo_offset , metadata_length 和 metadata_offset :

forminfo_offset , 就是表的字段开始位置,可变

metadata_offset = forminfo_offset + forminfo_length + screens_length

metadata_length = column_count * 17 bytes 到达表的第1个字段距离 + metadata_offset

forminfo_length = 288
header_size = 64

forminfo_names_length = 文件位置offset: 0x0004 (H) , 3.23版本之后都是3 , 占 2 bytes

column_count = (forminfo_offset + 258 ) (H) 字段总数 , 占 2 bytes
screens_length 有多少字节数到达 forminfo 的字段metadata , 占 2 bytes
screens_length = (forminfo_offset + 260) (H)

这里算到forminfo_offset:  0x3000

metadata_offset: 0x328C

metadata_length: 0x3446

定位了0x3446 就可以知道表的第1个字段位置 , 将2进制转换成字符 , php, python都有 struct的 pack 和 unpack 函数 , c比较麻烦一点   , 以 0xff 作为字段名成分隔符:

明天待续补充索引信息和注释信息............

为了解决mysqlbing翻译表字段问题而分析frm文件(持续更新)的更多相关文章

  1. SQLite无法使用drop column删除表字段解决办法

    由于项目需求变更,我需要在sqlite数据库的表中删除一个字段,通用的sql操作语句如下: alter table record drop column name; 结果数据库提示如下错误: 搜索得知 ...

  2. oracle 锁表查询及解决、表字段查询

    在进行批量对DML操作时程序竟然中断了,不再往下执行.查询一下某张表被锁住了,因此不再往下执行了 如果怀疑表被锁了,或者事务未被正常关闭,在Oracle数据库中我们可以通过以下语句进行查询获取相关信息 ...

  3. atitit查询表修改表字段没反应--解锁锁定的表

    atitit查询表修改表字段没反应--解锁锁定的表 查询表修改表字段没反应 要是使用gui 没反应,最好使用cmd 方式,不卉不个gui 锁上.. ALTER TABLE t_mb_awardweix ...

  4. atitit查询表改动表字段没反应--解锁锁定的表

    atitit查询表改动表字段没反应--解锁锁定的表 查询表改动表字段没反应 要是使用gui 没反应,最好使用cmd 方式,不卉不个gui 锁上.. ALTER TABLE t_mb_awardweix ...

  5. mysql 数据库 表字段添加表情兼容

    项目中的几个需要支持Emoji表情符号,手机自带的表情,其实添加也很简单: 1 修改数据库 配置my.cnf  init-connect='SET NAMES utf8mb4'             ...

  6. sql 根据指定条件获取一个字段批量获取数据插入另外一张表字段中+MD5加密

    /****** Object: StoredProcedure [dbo].[getSplitValue] Script Date: 03/13/2014 13:58:12 ******/ SET A ...

  7. RDIFramework.NET ━ 9.12 表字段管理 ━ Web部分

    RDIFramework.NET ━ .NET快速信息化系统开发框架 9.12  表字段管理 -Web部分  表(字段)综合管理模块主要功能是对数据表本身,表的各个字段做相应的控制,具体有以下功能: ...

  8. tp数据表字段缓存

    在维护一个tp写的项目,因为需要在产品表product中增加了一个字段status,但是不论如何就是无法给status赋值,查了资料才发现,原来是tp的数据表字段缓存在搞鬼. 在runtime> ...

  9. PHP通过(PDO)Mysql表字段一键生成创建sqlite的SQL

    首发于:http://www.zzzzy.com/201406053158.html /** * Mysql表字段一键生成创建sqlite的SQL 2 * @author: Skiychan < ...

随机推荐

  1. Linux服务器安全配置

    众所周知,网络安全是一个非常重要的课题,而服务器是网络安全中最关键的环节.Linux被认为是一个比较安全的Internet服务器,作为一种开放源代码操作系统,一旦Linux系统中发现有安全漏洞,Int ...

  2. //给定N个整数序列{A1,A2,A3...An},求函数f(i,j)=(k=i~j)Ak的求和

    //给定N个整数序列{A1,A2,A3...An},求函数f(i,j)=(k=i~j)Ak的求和 # include<stdio.h> void main() { ,sum1; ]={,- ...

  3. Spring MVC 处理静态资源不能访问问题

    在web.xml文件中加入如下代码: <servlet-mapping> <servlet-name>default</servlet-name> <url- ...

  4. [BZOJ1691][Usaco2007 Dec]挑剔的美食家

    [BZOJ1691][Usaco2007 Dec]挑剔的美食家 试题描述 与很多奶牛一样,Farmer John那群养尊处优的奶牛们对食物越来越挑剔,随便拿堆草就能打发她们午饭的日子自然是一去不返了. ...

  5. Fibonacci

    20145218 <Java程序设计>第01次实验报告 实验内容 简单使用命令行 撰写简单的Hello.java程序,使用命令行编译.运行.编译命令javac -d Hello.java, ...

  6. Windows Phone下的Socket编程

    讨论下有关于Windows Phone下的Socket编程方面的知识. Socket就是通常所称的套接字,用于描述IP地址和端口,是一个通信链的句柄.应用程序通常通过Socket向网络发出请求或者应答 ...

  7. [Asp.net mvc] Asp.net mvc Kendo UI Grid的使用(四)

    有段时间没写博客了,工作状态比较忙,抽空继续总结下Grid的使用,这次主要介绍模板以及其他官网介绍不详尽的使用方法.先Show出数据,然后讲解下.后台代码: public ActionResult O ...

  8. Java源码初学_HashMap

    一.概念 HashMap的实例有两个参数影响其性能:初始容量和加载因子.容量是哈希表中桶的数量,初始容量只是哈希表在创建时的容量.加载因子 是哈希表在其容量自动增加之前可以达到多满的一种尺度.当哈希表 ...

  9. lighttpd fastcgi的搭建

    公司很久以前有个task需要在板子上搭建个webserver以响应局域网内手机的请求. 以前是用lighttpd plugin实现的,后来仔细想想用fast cgi来弄也可以. 在install li ...

  10. C#获取程序集的版本号和最后编译时间

    C#获取程序集的版本号:string ver = System.Reflection.Assembly.GetExecutingAssembly().GetName().Version.ToStrin ...