快捷導(dǎo)航

python正則表達式抓取成語網(wǎng)站

更新時間：2013年11月20日 10:13:40 作者：

做NLPproject時需要一個成語庫，我需要的是純成語，網(wǎng)上找的都是有詳細解釋的。于是自己寫了一個爬成語的python程序

1、首先找到一個在線成語網(wǎng)站

2、查看網(wǎng)頁結(jié)構(gòu)，定義正則式

看一下要抓的成語的標(biāo)簽有什么特點，查看源碼，可以發(fā)現(xiàn)要抓的成語都在<a>標(biāo)簽中，如:<a href="/cy0/93.html">安如磐石</a>，成語事實上就是一個瞄文本，不同成語指向的鏈接不同，其實也就"/cy0/93.html"中的數(shù)字不同，所以正則式里匹配兩次數(shù)字就行了，定義正則式 reg = "<a href=\"/cy(\d+)/(\d+).html\">(.*?)</a>"。
3、上代碼吧

復(fù)制代碼代碼如下:

#anthor jiqunpeng
#time 20121124
import urllib
import re

def getHtml(url): #從URL中讀取html內(nèi)容
    page = urllib.urlopen(url)
    html = page.read()
    page.close()
    return html

def getDictionary(html): #匹配成語
    reg = "<a href=\"/cy(\d+)/(\d+).html\">(.*?)</a>"
    dicList = re.compile(reg).findall(html)
    return dicList

def getItemSite():#手工把每個字母開頭的頁面數(shù)統(tǒng)計下來
    itemSite = {}#申明為空字典
    itemSite["A"] = 3
    itemSite["B"] = 21
    itemSite["C"] = 19
    itemSite["D"] = 18
    itemSite["E"] = 2
    itemSite["F"] = 14
    itemSite["G"] = 13
    itemSite["H"] = 15
    itemSite["J"] = 23
    itemSite["K"] = 6
    itemSite["L"] = 15
    itemSite["M"] = 12
    itemSite["N"] = 5
    itemSite["O"] = 1
    itemSite["P"] = 6
    itemSite["Q"] = 16
    itemSite["R"] = 8
    itemSite["S"] = 26
    itemSite["T"] = 12
    itemSite["W"] = 13
    itemSite["X"] = 16
    itemSite["Y"] = 35
    itemSite["A"] = 21
    return itemSite

if __name__== "__main__":
    dicFile = open("dic.txt","w+")#保存成語的文件
    domainsite = "http://chengyu.itlearner.com/list/"
    itemSite = getItemSite()
    for key,values in itemSite.items():
        for index in range(1,values+1):
            site = key +"_"+str(index)+".html"
            dictionary = getDictionary(getHtml(domainsite+site))
            for dic in dictionary:
                dicFile.write(dic[2]+"@@CY\n")#標(biāo)記為成語，分詞時使用
        print key+'字母成語抓取完畢'
    dicFile.close()
    print '全部成語抓取完畢'

把成語保存在了txt文本中，還添加了一個后綴標(biāo)簽。
最后注意，設(shè)計正則表達式時可能會出現(xiàn)明明認為是正確的，就是匹配不了，對空白字符要留意，比如說要解析：

復(fù)制代碼代碼如下:

</div>

你看不出第一行與第二行的空白字符是什么，可以index = html.find('avatar_name')，html[4677:4677+100]看到非空白字符。

您可能感興趣的文章: