Python實(shí)現(xiàn)單詞拼寫(xiě)檢查
這幾天在翻舊代碼時(shí)發(fā)現(xiàn)以前寫(xiě)的注釋部分有很多單詞拼寫(xiě)錯(cuò)誤,這些單詞錯(cuò)得不算離譜,應(yīng)該可以用工具自動(dòng)糾錯(cuò)絕大部分。用 Python 寫(xiě)個(gè)拼寫(xiě)檢查腳本很容易,如果能很好利用 aspell/ispell 這些現(xiàn)成的小工具就更簡(jiǎn)單了。
要點(diǎn)
1、輸入一個(gè)拼寫(xiě)錯(cuò)誤的單詞,調(diào)用 aspell -a 后得到一些候選正確單詞,然后用距離編輯進(jìn)一步嗮選出更精確的詞。比如運(yùn)行 aspell -a,輸入 ‘hella' 后得到如下結(jié)果:
hell, Helli, hello, heal, Heall, he'll, hells, Heller, Ella, Hall, Hill, Hull, hall, heel, hill, hula, hull, Helga, Helsa, Bella, Della, Mella, Sella, fella, Halli, Hally, Hilly, Holli, Holly, hallo, hilly, holly, hullo, Hell's, hell's
2、什么是距離編輯(Edit-Distance,也叫 Levenshtein algorithm)呢?就是說(shuō)給定一個(gè)單詞,通過(guò)多次插入、刪除、交換、替換單字符的操作后枚舉出所有可能的正確拼寫(xiě),比如輸入 ‘hella',經(jīng)過(guò)多次插入、刪除、交換、替換單字符的操作后變成:
‘helkla', ‘hjlla', ‘hylla', ‘hellma', ‘khella', ‘iella', ‘helhla', ‘hellag', ‘hela', ‘vhella', ‘hhella', ‘hell', ‘heglla', ‘hvlla', ‘hellaa', ‘ghella', ‘hellar', ‘heslla', ‘lhella', ‘helpa', ‘hello', …
3、綜合上面2個(gè)集合的結(jié)果,并且考慮到一些理論知識(shí)可以提高拼寫(xiě)檢查的準(zhǔn)確度,比如一般來(lái)說(shuō)寫(xiě)錯(cuò)單詞都是無(wú)意的或者誤打,完全錯(cuò)的單詞可能性很小,而且單詞的第一個(gè)字母一般不會(huì)拼錯(cuò)。所以可以在上面集合里去掉第一個(gè)字母不符合的單詞,比如:'Sella', ‘Mella', khella', ‘iella' 等,這里 VPSee 不刪除單詞,而把這些單詞從隊(duì)列里取出來(lái)放到隊(duì)列最后(優(yōu)先級(jí)降低),所以實(shí)在匹配不了以 h 開(kāi)頭的單詞才去匹配那些以其他字母開(kāi)頭的單詞。
4、程序中用到了外部工具 aspell,如何在 Python 里捕捉外部程序的輸入和輸出以便在 Python 程序里處理這些輸入和輸出呢?Python 2.4 以后引入了 subprocess 模塊,可以用 subprocess.Popen 來(lái)處理。
5、Google 大牛 Peter Norvig 寫(xiě)了一篇 How to Write a Spelling Corrector 很值得一看,大牛就是大牛,21行 Python 就解決拼寫(xiě)問(wèn)題,而且還不用外部工具,只需要事先讀入一個(gè)詞典文件。本文程序的 edits1 函數(shù)就是從牛人家那里 copy 的。
代碼
#!/usr/bin/python
# A simple spell checker
import os, sys, subprocess, signal
alphabet = 'abcdefghijklmnopqrstuvwxyz'
def found(word, args, cwd = None, shell = True):
child = subprocess.Popen(args,
shell = shell,
stdin = subprocess.PIPE,
stdout = subprocess.PIPE,
cwd = cwd,
universal_newlines = True)
child.stdout.readline()
(stdout, stderr) = child.communicate(word)
if ": " in stdout:
# remove \n\n
stdout = stdout.rstrip("\n")
# remove left part until :
left, candidates = stdout.split(": ", 1)
candidates = candidates.split(", ")
# making an error on the first letter of a word is less
# probable, so we remove those candidates and append them
# to the tail of queue, make them less priority
for item in candidates:
if item[0] != word[0]:
candidates.remove(item)
candidates.append(item)
return candidates
else:
return None
# copy from http://norvig.com/spell-correct.html
def edits1(word):
n = len(word)
return set([word[0:i]+word[i+1:] for i in range(n)] +
[word[0:i]+word[i+1]+word[i]+word[i+2:] for i in range(n-1)] +
[word[0:i]+c+word[i+1:] for i in range(n) for c in alphabet] +
[word[0:i]+c+word[i:] for i in range(n+1) for c in alphabet])
def correct(word):
candidates1 = found(word, 'aspell -a')
if not candidates1:
print "no suggestion"
return
candidates2 = edits1(word)
candidates = []
for word in candidates1:
if word in candidates2:
candidates.append(word)
if not candidates:
print "suggestion: %s" % candidates1[0]
else:
print "suggestion: %s" % max(candidates)
def signal_handler(signal, frame):
sys.exit(0)
if __name__ == '__main__':
signal.signal(signal.SIGINT, signal_handler)
while True:
input = raw_input()
correct(input)
更簡(jiǎn)單的方法
當(dāng)然直接在程序里調(diào)用相關(guān)模塊最簡(jiǎn)單了,有個(gè)叫做 PyEnchant 的庫(kù)支持拼寫(xiě)檢查,安裝 PyEnchant 和 Enchant 后就可以直接在 Python 程序里 import 了:
>>> import enchant
>>> d = enchant.Dict("en_US")
>>> d.check("Hello")
True
>>> d.check("Helo")
False
>>> d.suggest("Helo")
['He lo', 'He-lo', 'Hello', 'Helot', 'Help', 'Halo', 'Hell', 'Held', 'Helm', 'Hero', "He'll"]
>>>
- python用字典統(tǒng)計(jì)單詞或漢字詞個(gè)數(shù)示例
- python實(shí)現(xiàn)統(tǒng)計(jì)漢字/英文單詞數(shù)的正則表達(dá)式
- 淺析Python中將單詞首字母大寫(xiě)的capitalize()方法
- python統(tǒng)計(jì)文本字符串里單詞出現(xiàn)頻率的方法
- python統(tǒng)計(jì)文本文件內(nèi)單詞數(shù)量的方法
- Python實(shí)現(xiàn)統(tǒng)計(jì)單詞出現(xiàn)的個(gè)數(shù)
- Python實(shí)現(xiàn)統(tǒng)計(jì)英文單詞個(gè)數(shù)及字符串分割代碼
- 布同 統(tǒng)計(jì)英文單詞的個(gè)數(shù)的python代碼
- 使用Python從有道詞典網(wǎng)頁(yè)獲取單詞翻譯
- Python實(shí)現(xiàn)單詞翻譯功能
相關(guān)文章
Python實(shí)現(xiàn)學(xué)生管理系統(tǒng)的代碼(JSON模塊)
這篇文章主要介紹了Python實(shí)現(xiàn)學(xué)生管理系統(tǒng)的代碼(JSON模塊),本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-04-04
pycharm 多行批量縮進(jìn)和反向縮進(jìn)快捷鍵介紹
這篇文章主要介紹了pycharm 多行批量縮進(jìn)和反向縮進(jìn)快捷鍵介紹,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-01-01
本地文件上傳到七牛云服務(wù)器示例(七牛云存儲(chǔ))
這篇文章主要介紹了使用PYTHON把本地文件上傳到七牛云服務(wù)的方法,開(kāi)發(fā)環(huán)境是Python 2.7,大家參考使用吧2014-01-01
Python命令啟動(dòng)Web服務(wù)器實(shí)例詳解
這篇文章主要介紹了Python命令啟動(dòng)Web服務(wù)器實(shí)例詳解的相關(guān)資料,需要的朋友可以參考下2017-02-02
查看django執(zhí)行的sql語(yǔ)句及消耗時(shí)間的兩種方法
今天小編就為大家分享一篇查看django執(zhí)行的sql語(yǔ)句及消耗時(shí)間的兩種方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-05-05
Pandas中datetime數(shù)據(jù)類型的使用
本文主要介紹了Pandas中datetime數(shù)據(jù)類型的使用,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-12-12
Python編寫(xiě)可視化界面的詳細(xì)教程(Python+PyCharm+PyQt)
最近開(kāi)始學(xué)習(xí)Python,但只限于看理論,編幾行代碼,覺(jué)得沒(méi)有意思,就想能不能用Python編寫(xiě)可視化的界面,遂查找了相關(guān)資料,發(fā)現(xiàn)了PyQt,所以本文介紹了Python+PyCharm+PyQt編寫(xiě)可視化界面的詳細(xì)教程,需要的朋友可以參考下2024-07-07

