解決思路

首先想到的就是利用 python 的正則表達(dá)式來匹配非法字符，然后找出非法記錄。然而理想總是豐滿的，現(xiàn)實(shí)卻是殘酷的。在實(shí)現(xiàn)的過程中，才發(fā)現(xiàn)自己對(duì)于字符編碼、以及 python 內(nèi)部字符串表示的相關(guān)知識(shí)的缺乏。在這期間，踩過了不少坑，到最后雖然還有些模糊的地方，但總算有一個(gè)總體清晰的了解。在此記錄下心得，避免以后在同一個(gè)地方跌倒。

以下的測(cè)試環(huán)境是 ArcGIS 10.3 自帶的 python 2.7.8 環(huán)境，不保證其他 python 環(huán)境也適用。

python 正則表達(dá)式

python 中的正則功能由內(nèi)嵌的 re 函數(shù)庫提供，主要用到 3 個(gè)函數(shù)。re.compile() 提供可重用的正則表達(dá)式，match() 和 search() 函數(shù)返回匹配結(jié)果，兩者之間的區(qū)別在于： match() 從指定位置開始匹配，search() 會(huì)從指定位置向后搜索直到找到匹配字符串。例如下面的代碼中，match_result 從第一個(gè)字符 f 開始匹配，匹配失敗返回空值；search_result 從 f 開始向后搜索，直到找到第一個(gè)匹配的字符 a, 然后通過 group() 函數(shù)輸出匹配結(jié)果為字符 a。

import re

pattern = re.compile('[abc]')
match_result = pattern.match('fabc')
if match_result:
 print match_result.group()

search_result = pattern.search('fabc')
if search_result:
 print search_result.group()

以上的實(shí)現(xiàn)方式需要先編譯一個(gè) pattern，然后再進(jìn)行匹配。實(shí)際上，我們可以直接利用 re.match(pattern, string) 函數(shù)來實(shí)現(xiàn)相同的功能。但是直接匹配的方式?jīng)]有先編譯再匹配的方式靈活，首先是正則表達(dá)式?jīng)]辦法重用，如果大量數(shù)據(jù)進(jìn)行同一模式匹配，意味著每次都需要內(nèi)部編譯，造成性能損失；另外，re.match() 函數(shù)沒有 pattern.match() 功能強(qiáng)大，后者可以指定從哪個(gè)位置開始匹配。

編碼問題

了解 python 正則的基本功能后，剩下的事情就是找到一個(gè)合適的正則表達(dá)式來匹配生僻字和非法字符。非法字符很簡(jiǎn)單，采用以下 pattern 就可以實(shí)現(xiàn)匹配：

pattern = re.compile(r'[~!@#$%^&* ]')

然而對(duì)于生僻字的匹配，著實(shí)難倒了我。首先是對(duì)于生僻字的定義，什么樣的字算生僻字？經(jīng)過咨詢項(xiàng)目經(jīng)理，規(guī)定非 GB2312 的字符屬于生僻字。接下來的問題是，如何匹配 GB2312 字符？

經(jīng)過查詢，GB2312 的范圍是 [\xA1-\xF7][\xA1-\xFE] ，其中漢字區(qū)的范圍是 [\xB0-\xF7][\xA1-\xFE] 。因此，添加生僻字匹配后的表達(dá)式為：

pattern = re.compile(r'[~!@#$%^&* ]|[^\xA1-\xF7][^\xA1-\xFE]')

問題似乎是順理得當(dāng)?shù)亟鉀Q了，然而我還是 too simple too naive 。由于要判斷的字符串都是從圖層文件讀取的，arcpy 貼心地將讀取的字符編碼為 unicode 格式。因此，我需要找出 GB2312 字符集在 unicode 中的編碼范圍。但現(xiàn)實(shí)是，GB2312 字符集在 unicode 中的分布并不是連續(xù)的，使用正則表示這個(gè)范圍必定是非常復(fù)雜的。使用正則表達(dá)式匹配生僻字的構(gòu)想，似乎陷入了死胡同。

解決方案

既然提供的字符串是 unicode 格式，那么我可不可以將其轉(zhuǎn)換為 GB2312 再進(jìn)行匹配呢？實(shí)際上是不行，因?yàn)?unicode 字符集要遠(yuǎn)大于 GB2312 字符集，因此 GB2312 => unicode 總是可以實(shí)現(xiàn)的，而反過來 unicode => GB2312 不一定能成功。

這突然為我提供了另外一種思路，假設(shè)一個(gè)字符串的 unicode => GB2312 轉(zhuǎn)換會(huì)失敗，那么是不是恰恰說明了它不屬于 GB2312 字符集？所以，我使用 unicode_string.encode('GB2312') 函數(shù)嘗試轉(zhuǎn)換字符串，捕獲 UnicodeEncodeError 異常來識(shí)別生僻字。

最終的代碼如下：

import re

def is_rare_name(string):
 pattern = re.compile(u"[~!@#$%^&* ]")
 match = pattern.search(string)
 if match:
 return True

 try:
    string.encode("gb2312")
  except UnicodeEncodeError:
   return True

  return False

總結(jié)

以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作能帶來一定的幫助，如果有疑問大家可以留言交流。

最新評(píng)論