如何用python寫一個簡單的詞法分析器

更新時間：2018年12月18日 14:07:21 作者：你就像只鐵甲小寶

這篇文章主要介紹了如何用python寫一個簡單的詞法分析器，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧

編譯原理老師要求寫一個java的詞法分析器，想了想決定用python寫一個。

目標(biāo)

能識別出變量，數(shù)字，運(yùn)算符，界符和關(guān)鍵字，用excel表打印出來。

有了目標(biāo)，想想要怎么實(shí)現(xiàn)詞法分析器。

1.先進(jìn)行預(yù)處理，把注釋，多余的空格，空行去掉。

2.一行一行掃描，行里逐字掃描，把界符和運(yùn)算符當(dāng)做分割符，遇到就先停下開始判斷。

若是以英文字母、$、下劃線開頭，則可能是變量和關(guān)鍵字，在判斷是關(guān)鍵字還是變量。
若是數(shù)字開頭，則判斷下一位是不是也是數(shù)字，直到遇到非數(shù)字停止，在把數(shù)字取出來。
再來判斷分割符是什么類型，是界符還是運(yùn)算符。

在給不同詞添加上識別碼

在用excel表打印出來。

代碼實(shí)現(xiàn)

1. 用列表創(chuàng)建一個關(guān)鍵字表，java關(guān)鍵字有50個。

#保留字
key_word = ['abstract','assert','boolean','break','byte',
      'case','catch','char','class','const',
      'continue','default','do','double','else',
      'enum','extends','final','finally','float',
      'for','goto','if','implements','import',
      'instanceof','int','interface','long','native',
      'new','package','private','protected','public',
      'return','short','static','strictfp','super',
      'switch','synchronized','this','throw','throws',
      'transient','try','void','volatile','while']

2.用列表創(chuàng)建一個運(yùn)算符表。

#運(yùn)算符
operator = ['+','-','*','/','%','++','--','+=','-=','+=','/=',#算術(shù)運(yùn)算符
      '==','!=','>','<','>=','<=',#關(guān)系運(yùn)算符
      '&','|','^','~','<<','>>','>>>',#位運(yùn)算符
      '&&','||','!',#邏輯運(yùn)算符
      '=','+=','-=','*=','/=','%=','<<=','>>=','&=','^=','|=',#賦值運(yùn)算符
      '?:']#條件運(yùn)算符

3. 用列表創(chuàng)建一個界符表。

#界符
delimiters = ['{','}','[',']','(',')','.',',',':',';']

4.預(yù)處理

用正則表達(dá)式把注釋去掉,在把多余的空行去掉

#預(yù)處理
def filterResource(file,new_file):
  f2 = open(new_file,'w+')
  txt = ''.join(open(file,'r').readlines())
  deal_txt = re.sub(r'\/\*[\s\S]*\*\/|\/\/.*','',txt) 
  for line in deal_txt.split('\n'):
      line = line.strip()
      line = line.replace('\\t','')
      line = line.replace('\\n','')
      if not line:
        continue
      else:
        f2.write(line+'\n')
  f2.close()
  return sys.path[0]+'\\'+ new_file

5.逐行掃描

按照剛剛的思路進(jìn)行判斷，把每一行的單詞，添加到word_line列表中，最后在把每一行添加到token列表中。

def Scan(file):
  lines = open(file,'r').readlines()
  for line in lines:
    word = ''
    word_line = []
    i = 0
    while i <len(line):
      word +=line[i]
      if line[i]==' ' or line[i] in delimiters or line[i] in operator:
        if word[0].isalpha() or word[0]=='$' or word[0]=='_':
          word = word[:-1]
          if searchReserve(word):
            # 保留字
            word_line.append({word[:-1]:key_word.index(word)})
          else:
            # 標(biāo)識符
            identifier.append({word:-2})
            word_line.append({word:-2})
        # 常數(shù)
        elif word[:-1].isdigit():
          word_line.append({word:-1})
        #else:
          #error_word.append(word)
        # 字符是界符
        if line[i] in delimiters:
          word_line.append({line[i]:len(key_word)+delimiters.index(line[i])})
        # 字符是運(yùn)算符
        elif line[i] in operator:
          s = line[i] +line[i+1]
          if s in operator:
            word_line.append({s:len(key_word)+len(delimiters)+operator.index(s)})
            i +=1
          else:
            word_line.append({line[i]:len(key_word)+len(delimiters)+operator.index(line[i])})
        word = ''
      i+=1
    token.append(word_line)

6.根據(jù)單詞返回是什么類型

按照保留字--界符--運(yùn)算符--常數(shù)的順序來當(dāng)識別碼。常數(shù)識別碼是-1，標(biāo)識符識別碼是-2

def check(number):
  hanzi = ''
  q = len(key_word)
  w = len(delimiters)
  e = len(operator)
  if 0<number<=q:
    hanzi = '保留字'
  elif q<number <= q+w:
    hanzi = '界符'
  elif q+w<number <=q+w+e:
    hanzi = '運(yùn)算符'
  elif number == -1:
    hanzi ='常數(shù)'
  elif number == -2:
    hanzi ='標(biāo)識符'
  return hanzi

7. 用thinker寫一個簡單的界面

導(dǎo)入

from tkinter import * 
from tkinter.filedialog import askdirectory,askopenfilename

root = Tk()
  root.title('詞法分析')
  root.resizable(0, 0)
  path = StringVar() 
  Label(root,text = "目標(biāo)路徑:").grid(row = 0, column = 0) 
  Entry(root, textvariable = path).grid(row = 0, column = 1) 
  Button(root, text = "路徑選擇", command = openfiles).grid(row = 0, column = 2)
  Button(root,text='詞法分析',command= open_excel).grid(row = 0,column = 3)
  root.mainloop()

打開文件

def openfiles():
  fname = askopenfilename(title='打開文件', filetypes=[('All Files', '*')])
  path.set(fname)

簡單的界面

8.導(dǎo)入到excel表中

需要安裝包xwings

pip install xwings

導(dǎo)入

import xlwings as xw

把token里的單詞，按照單詞 ---- 識別碼 ---類型打印到excel表中

def open_excel():
  # 預(yù)處理
  row,col=0,0
  if path.get()!='':

    txt = java_analysis.filterResource(path.get(),new_file)
    print(txt)
    #掃描
    java_analysis.Scan(txt)
    app = xw.App(visible=True,add_book=False)
    wb =app.books.open(sys.path[0]+'\\'+'test.xlsx')
    sheet = wb.sheets.active
    sheet.clear() 
    print(java_analysis.token)
    for i in range(len(java_analysis.token)):
      sheet[row,0].value = '第'+str(i+1)+'行'
      row +=1
      for word in java_analysis.token[i]:
        for k,w in word.items():
          sheet[row,3].value = k
          sheet[row,5].value = w
          sheet[row,7].value = java_analysis.check(w)
        row +=1
    sheet.autofit()#整個sheet自動調(diào)整
    #wb.save()

最后就像這樣