go Antlr重構(gòu)腳本解釋器實(shí)現(xiàn)示例

更新時(shí)間：2022年08月08日 15:54:32 作者：crossoverJie

這篇文章主要為大家介紹了go Antlr重構(gòu)腳本解釋器實(shí)現(xiàn)示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪

前言

在上一個(gè)版本實(shí)現(xiàn)的腳本解釋器 GScript 中實(shí)現(xiàn)了基本的四則運(yùn)算以及 AST 的生成。

當(dāng)我準(zhǔn)備再新增一個(gè) % 取模的運(yùn)算符時(shí)，會(huì)發(fā)現(xiàn)工作很繁瑣而且?guī)缀醵际侵貜?fù)的；主要是兩步：

需要在詞法解析器中新增對(duì) % 符號(hào)的支持。
在語(yǔ)法解析器遍歷 AST 時(shí)對(duì) % token 實(shí)現(xiàn)具體邏輯。

其中的詞法解析和遍歷 AST 完全是重復(fù)工作，所以我們可否能夠簡(jiǎn)化這兩步呢？

Antlr

Antlr 就是做幫我們解決這些問(wèn)題的常用工具，利用它我們只需要編寫(xiě)詞法文件，然后就可以自動(dòng)生成詞法、語(yǔ)法解析器，并且可以生成不同語(yǔ)言的代碼。

下面以 GScript 的示例來(lái)看看 antlr 是如何幫我們生成詞法分析器的。

func TestGScriptVisitor_Visit_Lexer(t *testing.T) {
	expression := "(2+3) * 2"
	input := antlr.NewInputStream(expression)
	lexer := parser.NewGScriptLexer(input)
	for {
		t := lexer.NextToken()
		if t.GetTokenType() == antlr.TokenEOF {
			break
		}
		fmt.Printf("%s (%q) %d\n",
			lexer.SymbolicNames[t.GetTokenType()], t.GetText(),t.GetColumn())
	}
}

//output:
 ("(") 0
DECIMAL_LITERAL ("2") 1
PLUS ("+") 2
DECIMAL_LITERAL ("3") 3
 (")") 4
MULT ("*") 6
DECIMAL_LITERAL ("2") 8

Antlr 會(huì)自動(dòng)將我們的表達(dá)式解析為 token，遍歷 token 時(shí)還能拿到該 token 所在的代碼行數(shù)、位置等信息，在編譯期間做語(yǔ)法檢查非常有用。

要實(shí)現(xiàn)這些我們只需要編寫(xiě)詞法、語(yǔ)法規(guī)則文件即可。

剛才的示例所對(duì)應(yīng)的詞法、語(yǔ)法規(guī)則如下：

expr
    : '(' expr ')'                        #NestedExpr
    | liter=literal #Liter
    | lhs=expr bop=( MULT | DIV ) rhs=expr #MultDivExpr
    | lhs=expr bop=MOD rhs=expr            #ModExpr
    | lhs=expr bop=( PLUS | SUB ) rhs=expr #PlusSubExpr
    | expr bop=(LE | GE | GT | LT ) expr # GLe
    | expr bop=(EQUAL | NOTEQUAL) expr # EqualOrNot
    ;
DECIMAL_LITERAL:    ('0' | [1-9] (Digits? | '_'+ Digits)) [lL]?;

完整規(guī)則：github.com/crossoverJi…

運(yùn)行：

antlr -Dlanguage=Go -o parser -visitor -no-listener GScript.g4

而我們要實(shí)現(xiàn)具體的語(yǔ)法邏輯時(shí)只需要實(shí)現(xiàn)相關(guān)的接口，Antlr 會(huì)自動(dòng)遍歷 AST（當(dāng)然也可以手動(dòng)控制），同時(shí)在訪問(wèn)不同的 AST 節(jié)點(diǎn)時(shí)會(huì)回調(diào)我們自己實(shí)現(xiàn)的接口，這樣我們就能編寫(xiě)自己的語(yǔ)法規(guī)則了。

以這里的新增的取模運(yùn)算為例：

func (v *GScriptVisitor) VisitModExpr(ctx *parser.ModExprContext) interface{} {
	lhs := v.Visit(ctx.GetLhs())
	rhs := v.Visit(ctx.GetRhs())
	return lhs.(int) % rhs.(int)
}

當(dāng) Antlr 回調(diào) VisitModExpr 方法時(shí)，便能獲取到 % 符號(hào)左右兩側(cè)的數(shù)據(jù)，這時(shí)只需要做相關(guān)運(yùn)算即可。

基于這個(gè)模式這次新增了一個(gè) statement，具體語(yǔ)法如下：

func TestGScriptVisitor_VisitIfElse8(t *testing.T) {
	expression := `
if(3!=(1+2)){
	return 1+3
} else {
	return false
}`
	input := antlr.NewInputStream(expression)
	lexer := parser.NewGScriptLexer(input)
	stream := antlr.NewCommonTokenStream(lexer, 0)
	parser := parser.NewGScriptParser(stream)
	parser.BuildParseTrees = true
	tree := parser.Prog()
	visitor := GScriptVisitor{}
	var result = visitor.Visit(tree)
	fmt.Println(expression, " result:", result)
	assert.Equal(t, result, false)
}

Antlr 還有其他各種優(yōu)勢(shì)，比如可以解決：