【编译原理】Antlr 入门使用

前面文章我们学习了编译器前端的词法和语法分析工具，本篇我们来看看如何借助 Antlr 工具，快速生成词法和语法分析代码。
一、安装

mac 环境：
1）安装

1. brew install antlr

复制代码

2）设置 classpath
（把 Antlr 的 JAR 文件设置到 CLASSPATH 环境变量中，以便顺遂编译所生成的 Java 源代码。）

1. vi ~/.bash_profile
3. # 替换成你的 antlr jar 路径
4. CLASSPATH=".:/opt/homebrew/Cellar/antlr/4.13.1/antlr-4.13.1-complete.jar:$CLASSPATH"
6. source ~/.bash_profile

复制代码

有了这个玩意，你可以用很简单的方式定义好词法和语法文件，他会主动生成对应的解析文件，给你生成出 AST 来。
你可以从生成的类文件中，看看是如何生成 AST 树的。
对于我们之前遇到的左递归问题，它又是如何办理的，也是用循环代替递归么？
生成 AST 树，算完成了词法分析和语法分析。
根据这棵树做什么，就是语义分析了。
二、开发 Java 项目

1、创建一个 maven 项目
2、pom 中添加 Antlr 库

1.         <dependency>
2.             <groupId>org.antlr</groupId>
3.             <artifactId>antlr4-runtime</artifactId>
4.             <version>4.10</version>
5.         </dependency>

复制代码

3、编写一个 antlr 文件 Expr.g4。位置随意，可以放到 src 目录

1. grammar Expr;
3. expr: expr op=(ADD|SUB) expr      # AddSub
4. | INT                             # int
5. ;
7. ADD: '+';
8. SUB: '-';
10. INT : [0-9]+ ;
11. WS : [ \t]+ -> skip;

复制代码

4、编译项目 (如许可以生成一些antlr的解析器的类代码，方便后面编程）

1. mvn compile

复制代码

你应该能在项目根目录看到一个 gen 文件夹，打开后内里是生成的 java 类

把这部分代码放到你的 src 包路径下 src/main/java/com/xxx/my_antlr_demo/antlr4
5、编写调用代码
EvalVisitor.java

1. import com.shuofxz.my_antlr_demo.antlr4.ExprBaseVisitor;
2. import com.shuofxz.my_antlr_demo.antlr4.ExprLexer;
3. import com.shuofxz.my_antlr_demo.antlr4.ExprParser;
5. public class EvalVisitor extends ExprBaseVisitor<Integer> {
6.     @Override
7.     public Integer visitAddSub(ExprParser.AddSubContext ctx) {
8.         Integer left = visit(ctx.expr(0));  // should call "visit", not "visitChildren"
9.         Integer right = visit(ctx.expr(1));
10.         if (ctx.op.getType() == ExprLexer.ADD) {
11.             return left + right;
12.         } else {
13.             return left - right;
14.         }
15.     }
17.     @Override
18.     public Integer visitInt(ExprParser.IntContext ctx) {
19.         return Integer.valueOf(ctx.INT().getText());
20.     }
21. }

复制代码

AppDemo.java

1. import com.shuofxz.my_antlr_demo.antlr4.ExprLexer;
2. import com.shuofxz.my_antlr_demo.antlr4.ExprParser;
3. import org.antlr.v4.runtime.CharStreams;
4. import org.antlr.v4.runtime.CodePointCharStream;
5. import org.antlr.v4.runtime.CommonTokenStream;
6. import org.antlr.v4.runtime.tree.ParseTree;
8. public class AppDemo {
9.     public static void main(String[] args) {
10.         String input = null;
11.         // 此处把输入的参数，直接赋值了
12.         args = new String[2];
13.         args[0] = "-input";
14.         args[1] = "1+2+3-4";
15.         for (int i=0; i<args.length; i++) {
16.             if (args[i].equals("-input")) {
17.                 input = args[++i];
18.             }
19.         }
21.         if (input == null) {
22.             System.out.println("args:  -input <expression>");
23.             return;
24.         }
26.         CodePointCharStream charStream = CharStreams.fromString(input);
27.         ExprLexer lexer = new ExprLexer(charStream);
28.         CommonTokenStream tokens = new CommonTokenStream(lexer);
29.         ExprParser parser = new ExprParser(tokens);
30.         ParseTree tree = parser.expr();
31.         EvalVisitor visitor = new EvalVisitor();
33.         Object result = visitor.visit(tree);
34.         System.out.println("output=" + result);
35.     }
36. }

复制代码

记得重新实行第四步生成代码并更换。
然后我们可以把输入字符换为 1@2@3#4。
你大概猜到了这里就实现了类似操作符重载的功能。
那么后面我们就可以用这个工具，实现我们自己的语法解析工具了。
三、Antlr 中都做了什么？

antlr 语法文件中写的都是啥？

• 分为两个部分：词法规则和语法规则
  
• 词法规则定义了语言的基本词汇元素，即词法单位（Tokens）。它们通常包括标识符、常量、关键字和符号等。通常以大写字母开头，如 ADD、INT 等
  
• 语法规则定义了语言的结构，阐明了不同词法单位是如何组合起来形成语言结构的。语法规则描述了语句、表达式、声明等高级结构，如 expr。
  

接下来我们表明一下关键实行步骤中都做了什么事情：

1. grammar Expr;
3. expr: expr op=(ADD|SUB) expr      # AddSub
4. | INT                             # int
5. ;
7. ADD: '@';
8. SUB: '#';
10. INT : [0-9]+ ;
11. WS : [ \t]+ -> skip;

复制代码

• 词法分析器：词法分析的任务是将输入文本分割成一系列的记号（tokens），每个记号是语言中最小的故意义单位，如关键字、标识符、字面量等。
  
• 记号流：用于从词法分析器中获取记号，并将它们组织成一个流，以便之后进行语法分析。
  
• 语法分析器：对记号流tokens进行语法分析。
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。