最近折騰索引引擎以及數(shù)據(jù)統(tǒng)計(jì)方面的工作比較多, 與 Python 字典頻繁打交道, 至此整理一份此方面 API 的用法與坑法備案.

    索引引擎的基本工作原理便是倒排索引, 即將一個(gè)文檔所包含的文字反過(guò)來(lái)映射至文檔; 這方面算法并沒(méi)有太多花樣可言, 為了增加效率, 索引數(shù)據(jù)盡可往內(nèi)存里面搬, 此法可效王獻(xiàn)之習(xí)書法之勢(shì), 只要把十八臺(tái)機(jī)器內(nèi)存全部塞滿, 那么基本也就功成名就了. 而基本思路舉個(gè)簡(jiǎn)單例子, 現(xiàn)在有以下文檔 (分詞已經(jīng)完成) 以及其包含的關(guān)鍵詞

  doc_a: [word_w, word_x, word_y]
  doc_b: [word_x, word_z]
  doc_c: [word_y]

將其變換為

  word_w -> [doc_a]
  word_x -> [doc_a, doc_b]
  word_y -> [doc_a, doc_c]
  word_z -> [doc_b]

    寫成 Python 代碼, 便是
 

doc_a = {'id': 'a', 'words': ['word_w', 'word_x', 'word_y']} 
doc_b = {'id': 'b', 'words': ['word_x', 'word_z']} 
doc_c = {'id': 'c', 'words': ['word_y']} 
 
docs = [doc_a, doc_b, doc_c] 
indices = dict() 
 
for doc in docs: 
  for word in doc['words']: 
    if word not in indices: 
      indices[word] = [] 
    indices[word].append(doc['id']) 
 
print indices

    不過(guò)這里有個(gè)小技巧, 就是對(duì)于判斷當(dāng)前詞是否已經(jīng)在索引字典里的分支
 

if word not in indices: 
  indices[word] = []

可以被  dict  的  setdefault(key, default=None)  接口替換. 此接口的作用是, 如果  key  在字典里, 那么好說(shuō), 拿出對(duì)應(yīng)的值來(lái); 否則, 新建此  key , 且設(shè)置默認(rèn)對(duì)應(yīng)值為  default . 但從設(shè)計(jì)上來(lái)說(shuō), 我不明白為何  default  有個(gè)默認(rèn)值  None , 看起來(lái)并無(wú)多大意義, 如果確要使用此接口, 大體都會(huì)自帶默認(rèn)值吧, 如下
 

for doc in docs: 
  for word in doc['words']: 
    indices. setdefault(word, []) .append(doc['id'])

    這樣就省掉分支了, 代碼看起來(lái)少很多.
    不過(guò)在某些情況下,  setdefault  用起來(lái)并不順手: 當(dāng)  default  值構(gòu)造很復(fù)雜時(shí), 或產(chǎn)生  default  值有副作用時(shí), 以及一個(gè)之后會(huì)說(shuō)到的情況; 前兩種情況一言以蔽之, 就是  setdefault  不適用于  default  需要惰性求值的場(chǎng)景. 換言之, 為了兼顧這種需求,  setdefault  可能會(huì)設(shè)計(jì)成
 

def setdefault(self, key, default_factory): 
  if key not in self: 
    self[key] = default_factory() 
  return self[key]

倘若真如此, 那么上面的代碼應(yīng)改成
 

for doc in docs: 
  for word in doc['words']: 
    indices.setdefault(word, list ).append(doc['id'])

不過(guò)實(shí)際上有其它替代方案, 這個(gè)最后會(huì)提到.

    如果說(shuō)上面只是一個(gè)能預(yù)見(jiàn)但實(shí)際上可能根本不會(huì)遇到的 API 缺陷, 那么下面這個(gè)就略打臉了.
    考慮現(xiàn)在要進(jìn)行詞頻統(tǒng)計(jì), 即一個(gè)詞在文章中出現(xiàn)了多少次, 如果直接拿  dict  來(lái)寫, 大致是
 

def word_count(words): 
  count = dict() 
  for word in words: 
    count.setdefault(word, 0) += 1
  return count 
 
print word_count(['hiiragi', 'kagami', 'hiiragi', 'tukasa', 'yosimizu', 'kagami'])

    當(dāng)你興致勃勃地跑起上面代碼時(shí), 代碼會(huì)以迅雷不及掩臉之勢(shì)把異常甩到你鼻尖上 --- 因?yàn)槌霈F(xiàn)在  +=  操作符左邊的  count.setdefault(word, 0)  在 Python 中不是一個(gè)左值. 怎樣, 現(xiàn)在開(kāi)始念叨 C艸 類型體系的好了吧.

    因?yàn)?Python 把默認(rèn)的字面常量  {}  等價(jià)于  dict()  就認(rèn)為  dict  是銀彈的思想是要不得的; Python 里面各種數(shù)據(jù)結(jié)構(gòu)不少, 解決統(tǒng)計(jì)問(wèn)題, 理想的方案是  collections.defaultdict  這個(gè)類. 下面的代碼想必看一眼就明白
 

from collections import defaultdict 
 
doc_a = {'id': 'a', 'words': ['word_w', 'word_x', 'word_y']} 
doc_b = {'id': 'b', 'words': ['word_x', 'word_z']} 
doc_c = {'id': 'c', 'words': ['word_y']} 
 
docs = [doc_a, doc_b, doc_c] 
indices = defaultdict(list) 
 
for doc in docs: 
  for word in doc['words']: 
    indices[word].append(doc['id']) 
 
print indices 
 
def word_count(words): 
  count = defaultdict(int) 
  for word in words: 
    count[word] += 1
  return count 
 
print word_count(['hiiragi', 'kagami', 'hiiragi', 'tukasa', 'yosimizu', 'kagami'])

    完滿解決了之前遇到的那些破事.

    此外  collections  里還有個(gè)  Counter , 可以粗略認(rèn)為它是  defaultdict(int)  的擴(kuò)展.

最新評(píng)論