词法分析即将输入的语句进行分词(token)，解析出每个token的意义。分词的本质便是正则表达式的匹配过程，比较流行的分词工具应该是lex，通过简单的规则制定，来实现分词。Lex一般和yacc结合使用。关于lex和yacc的基础知识请参考Yacc 与Lex 快速入门- IBM。如果想深入学习的话，可以看下《LEX与YACC》。

然而Mysql并没有使用lex来实现词法分析，但是语法分析却用了yacc，而yacc需要词法分析函数yylex，

不过ANTLR更多简化...

作者:: 老哇的爪子 Attilax 艾龙， EMAIL:1466519819@qq.com

转载请注明来源： http://blog.csdn.net/attilax

3. 词法分析器

MySQL的词法分析器是手工打造的。

语法分析器的入口函数是MYSQLparse，词法分析器的入口函数是MYSQLlex。

2. 词法分析中会检查token是否为关键字。

最直接的做法是弄个大的关键字数组，进行折半查找

1.1 词法分析器（Lexer）

词法分析器又称为 Scanner，Lexical analyser和Tokenizer。程序设计语言通常由关键字和严格定义的语法结构组成。编译的最终目的是将程序设计语言的高层指令翻译成物力机器或虚拟机可以执行的指令。此法分析器的工作是分析量化那些本来毫无意义的字符流，将他们翻译成离散的字符组（也就是一个一个的Token）括关键字，标识符，符号（symbols）和操作符供语法分析器使用。

，Lexer不关心所生成的单个Token的语法意义及其与上下文之间的关系

ANTLR将上述两者结合起来，它允许我们定义识别字符流的词法规则和用于解释Token流的词法分析规则。然后，ANTLR将根据用户提供的语法文件自动生成相应的词法/语法分析器。

4. 语法分析器--ANTLR

也因为不想和以下推自动机为原理的YACC/LEX生成的一大堆整数表打交道，我选择了另一个开源的LL（K）语法/词法分析器—ANTLR。

之前YACC/LEX显得过于学院派，而以LL（k）为基础的ANTLR虽然在效率上还略有不足

Lexer不关心所生成的单个Token的语法意义及其与上下文之间的关系，而这就是Parser的工作。语法分析器将收到的Tokens组织起来，并转换成为目标语言语法定义所允许的序列。

无论是Lexer还是Parser都是一种识别器，Lexer是字符序列识别器而Parser是Token序列识别器。他们在本质上是类似的东西，而只是在分工上有所不同而已。

ANTLR将上述两者结合起来，它允许我们定义识别字符流的词法规则和用于解释Token流的词法分析规则。然后，ANTLR将根据用户提供的语法文件自动生成相应的词法/语法分析器。用户可以利用他们将输入的文本进行编译，并转换成其他形式（如AST—Abstract Syntax Tree，抽象的语法树）。构建sql的AST

5. Eclipse插件,,ANTLR Studio

为了更好的使用ANTLR，你还可以下载ANTLR的Eclipse插件来帮助你完成工作。ANTLR Studio

6. 一个基于javacc实现的解析器JSqlParser0.7(yr2011)，

它可以把SQL语句转换为Java对象，由于JsqlParser是使用JavaCC做语法分析的，而本身JavaCC就支持JJTree...如是就写了个小工具SQLParser，将生成的对象以树的形式呈现出来^

JSqlParser存在的问题及解决

JSqlParser是一个SQL语句的解析器，包括常用的一些SQL语句，insert,update,select,delete等，但兼容的语法有限，比如括号，或者一些复杂的结构等。对于转义字符的处理

7. 例子代码-----解析sql表格列的名称and类型

final String sql = filex.read("c:\\pojo.sql", "gbk");

new SqlParseO7(sql)

this.sqlParseO7.parse(new Closure()

public void parse(Closure c) throws JSQLParserException {

CCJSqlParserManager parserManager = new CCJSqlParserManager();

// String statement =

// "CREATE TABLE mytab (mycol a (10, 20) c nm g, mycol2 mypar1 mypar2 (23,323,3) asdf ('23','123') dasd, "

// + "PRIMARY KEY (mycol2, mycol)) type = myisam";

CreateTable createTable = (CreateTable) parserManager

.parse(new StringReader(this.sql));

List columnDefinitions = createTable.getColumnDefinitions();

String tabName = createTable.getTable().getName();

// System.out.println(columnDefinitions.size());// 获得字段总数.

for (Object object : columnDefinitions) {

ColumnDefinition col = (ColumnDefinition) object;

Object[] oa = { col.getColumnName(),

col.getColDataType().getDataType(), tabName };

c.execute(oa);

}

8. }Sql的历史

9. 解析select语句

Statement stat = new CCJSqlParserManager().parse(new StringReader(

                        "select * from a where 姓名='崔永远'"));

            Select select = (Select) stat;

            Expression where = ((PlainSelect) select.getSelectBody()).getWhere();

            WhereExpressionVisitor visitor = new WhereExpressionVisitor(rowMeta, where);

            for (int i = 0; i < data.length; i++) {

                Object result = visitor.eval(data[i]);

                if (result instanceof Boolean && ((Boolean) result).booleanValue()) {

                    System.out.print("通过=====>");

                } else {

                    System.out.print("不通过=====>");

                }

                System.out.println(StringUtils.join(data[i], ","));

            }

10. zql，JSqlParser，General sql parser.

11. ANTLR实现的SQL解析器 - OQL

12. Javacc/AST简单的介绍

JavaCC 是一个代码生成器，可以根据输入的语言定义输出一个词法分析器和解析器,JavaCC 输出的代码是合法的可编译Java代码.解析器和词法分析器本身就是一个冗长而复杂的组件，手工编写一个这样的程序需要仔细考虑各条件的相互作用，总的来说，通过javacc完成一些字符串的分析，还是比较方便，现在普遍使用AST了。

13. SQLJEP http://sqljep.sourceforge.net/

SQLJEP 是一个用来解析和仿真执行SQL语句的Java类库。支持几乎所有 Oracle 和 MaxDB 的函数。SQLJEP 使用 JavaCC 来做词法分析。

14. Sql生成SqlBuilder ,Querydsl ,hb

3.SqlBuilder http://openhms.sourceforge.net/sqlbuilder/

SqlBuilder 是一个Java的类库，它试图帮你避免在Java程序内直接书写SQL查询的痛苦。你只需要使用 SqlBuilder 的方法，它就可以帮你生成对应的 SQL 数据库查询语句，例如下面一个SQL语句：

15. 俄的总结: 还凑火JSqlParser0.7走行兰.

16. 参考

Java 实现对Sql语句解析 - 翠竹林 - 博客园.htm

SQL 语法解释器jsqlparser - serv - ITeye技术网站.htm

Hibernate源代码分析 - 青火的笔记 - 记笔记 - 私塾在线 - 只做精品视频课程服务.htm

开源语法分析器--ANTLR - 薛笛的专栏 - 博客频道 - CSDN.NET.htm

atitit.java解析sql语言解析器解释器的实现的更多相关文章

Atitit..状态机与词法分析  通用分词器 分词引擎的设计与实现 attilax总结
Atitit..状态机与词法分析通用分词器分词引擎的设计与实现 attilax总结 1. 状态机理论参考1 2. 词法分析理论1 3. 词法分析实例2 4. ---code fsm 状态机通用 ...
C语言解析WAV音频文件
C语言解析WAV音频文件代码地址: Github : https://github.com/CasterWx/c-wave-master 目录前言了解WAV音频文件什么是二进制文件 WAV的二 ...
sql注入解析
sql注入解析 sql注入解析(一)基本语法 sql注入解析(二)执行注入 sql注入解析(三)数据库类型 sql注入解析(四)避开过滤
atitit. java jsoup html table的读取解析总结
atitit. java jsoup html table的读取解析总结 1. 两个大的parser ,,,jsoup 跟个 htmlparser 1 2. 资料比较 1 3. jsoup越佳. ...
Java 实现对Sql语句解析
原文地址:http://www.cnblogs.com/zcftech/archive/2013/06/10/3131286.html 最近要实现一个简易的数据库系统,除了要考虑如何高效的存储和访问数 ...
利用 druid 解析器解析SQL
最近参与一个开源项目,一个功能的实现,用到了 druid 解析器来解析SQL,记录下如果使用 druid 来解析SQL,实现对SQL的拦截改写. 1. 对 insert 语句进行解析: private ...
几种基于Java的SQL解析工具的比较与调用
1.sqlparser http://www.sqlparser.com/ 优点:支持的数据库最多,除了传统数据库外还支持hive和greenplum一类比较新的数据库,调用比较方便,功能不错缺点: ...
简单sql字段解析器实现参考
用例:有一段sql语句,我们需要从中截取出所有字段部分,以便进行后续的类型推断,请给出此解析方法. 想来很简单吧,因为 sql 中的字段列表,使用方式有限,比如 a as b, a, a b... 1 ...
反射类的加载 Schema DOM 解析方式和解析器命名空间
Day15 反射 1.1 类的加载当程序要使用某个类时,如果该类还未被加载到内存中,则系统会通过加载,连接,初始化三步来实现对这个类进行初始化. l 加载就是指将class文件读入内存,并为之创建 ...

随机推荐

安装XMind
XMind是一款思维导图软件.可编辑整理头脑中的想法,以使其脉络更加清晰. 在学习知识过程中,用这个工具也不错. 官方网站: http://www.xmind.net 其它版本: http://ww ...
Linux phpwind论坛的安装
1:新建文件夹phpwind
SWD模式连接与注意事项
JTAG模式与SWD模式连接图 SWD 仿真模式概念简述一.SWD 和传统的调试方式区别 1. SWD 模式比 JTAG 在高速模式下面更加可靠. 在大数据量的情况下面 JTAG 下载程序会失败, ...
cocos2dx 随机函数
cocos2dx 随机数 2.2.3版本 1.初始化时设定随机数种子,只需一次. time_t now = time(NULL); srand((unsigned int)now); 2.需要的时候 ...
[Boost]boost的时间和日期处理-（2）时间的操作
<开篇> 本篇紧接着boost上篇叙述Boost::DateTime的时间处理.在C++中,常见的时间有time_t, FILETIME和tm,而boost中用ptime. 构造ptime ...
JavaScript 面向对象（一）
参考:http://www.iteye.com/topic/1123555
使用ElasticSearch实现搜索时即时提示与全文搜索功能
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ...
UESTC - 1172 三句话题意
题目链接记一个集合的gcd为该集合内所有数的最大公约数, 求一个给定集合的非空子集的gcd的k次方的期望~ Input 第一行有一个数t,表示数据组数接下去每组数据两行,第一行两个数n,k(0 & ...
转：使用RNN解决NLP中序列标注问题的通用优化思路
http://blog.csdn.net/malefactor/article/details/50725480 /* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/ author ...
Oracle-检查原因并重新编译无效的存储过程
1.查看存储过程编译无效的原因 show errors procedure hr.getperson; 2.指定一个存储过程进行编译 alter procedure hr.getperson com ...

atitit.java解析sql语言解析器解释器的实现

1. 解析sql的本质:实现一个4gl dsl编程语言的编译器

2. 解析sql的主要的流程,词法分析，而后进行语法分析，语义分析,构建sql的AST