前言

Python爬蟲，除了使用大家廣為使用的scrapy架構(gòu)外，還有很多包能夠?qū)崿F(xiàn)一些簡(jiǎn)單的爬蟲，如BeautifulSoup、Urllib、requests，在使用這些包時(shí)，有的網(wǎng)絡(luò)因?yàn)楸容^復(fù)雜，比較難以找到自己想要的代碼，在這個(gè)時(shí)候，如果能夠使用正則表達(dá)式，將能很方便地爬取到自己想要的數(shù)據(jù)。

何為正則表達(dá)式

正則表達(dá)式是一種描述字符串排列的一種語(yǔ)法規(guī)則，通過(guò)該規(guī)則可以在一個(gè)大字符串中匹配出滿足規(guī)則的子字符串。簡(jiǎn)單來(lái)說(shuō)，就是給定了一個(gè)字符串，在字符串中找到想要的字符串，如一個(gè)電話號(hào)碼，一個(gè)IP地址，一個(gè)字段，在爬蟲過(guò)程中，如果靈活使用正則表達(dá)式，將極大地提升爬蟲效率。

Python使用正則表達(dá)式

re.match

import re
str1='123asdfa'
mathch1 = re.match("^[0-9]",str1)
print(mathch1.group())

結(jié)果

1

如果要匹配12，則

import re
str1='12s3asdfa'
mathch1 = re.findall("1[0-9]",str1)
print(mathch1)

結(jié)果

['12']

修改[0-9]為[10-19]是無(wú)法匹配到的。

因此，該語(yǔ)句將從頭到尾匹配字符，匹配到則結(jié)束，需要.group才能獲取到匹配到的值。

re.search

import re
str1='1a2s3asdfa'
mathch1 = re.search("^[0-9]",str1)
print(mathch1.group())

結(jié)果

1

從頭到尾匹配字符，直到找到一個(gè)匹配，需要.group才能獲取到匹配到的值。re.serach()和re.match()的區(qū)別，re.search()將匹配所有的字符，re.match只匹配字符串的開頭，如果開頭不符合規(guī)則，則返回None。

re.split()

import re
str1='1a2s3asdfa'
mathch1 = re.split("[0-9]",str1)
print(mathch1)

結(jié)果

['', 'a', 's', 'asdfa']

將匹配到的字符作為分隔符分隔字符串。

re.findall()

import re
str1='12s3asdfa'
mathch1 = re.findall("[0-9]",str1)
print(mathch1)

運(yùn)行結(jié)果

['1', '2', '3']

匹配所有符合規(guī)則的字符。

re.sub(pattern, repl, string, count,flag)

import re
str1='12s3asdfa'
mathch1 = re.sub("[0-9]",'|',str1)
print(mathch1)

結(jié)果

||s|asdfa

用后面的字符替換前面的符合規(guī)則的字符。

爬蟲實(shí)例

如需要爬取豆瓣熱門電影2019，網(wǎng)址為：https://movie.douban.com/chart

首先鼠標(biāo)右鍵查看網(wǎng)頁(yè)源代碼

如我們需要爬取電影的名稱，我們搜索‘

82年生的金智英'

正則表達(dá)式的思路是通過(guò)需要爬去的字段旁邊的字符去夾住想要的字符串，如我們需要‘82年生金智英'這穿字符，我們可以用“13px;">”和“<”去夾住它。

搜索該結(jié)構(gòu)可以發(fā)現(xiàn)，只有標(biāo)題會(huì)用到該結(jié)構(gòu)，不會(huì)誤爬到其他無(wú)關(guān)字符串。下面上爬蟲代碼

import re
import requests
url='https://movie.douban.com/chart'
header={
 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'
}
result= requests.get(url,headers=header)
data=re.findall(r'13px\;\"\>([^\<]+)',result.text)
print(data)

結(jié)果是一個(gè)長(zhǎng)度為9的數(shù)組。

['82年生金智英 / Kim Ji-young,Born 1982', '愛爾蘭殺手(港) / 聽說(shuō)你刷房子了', '小丑起源電影：羅密歐 / Romeo', '情迷紐約下雨天(港) / 紐約有雨', '從前， 有個(gè)荷里活(港) / 從前，有個(gè)好萊塢...(臺(tái))', '長(zhǎng)安盜', '地下6號(hào) / 六尺之下', '喪尸樂園：連環(huán)尸殺(港) / 尸樂園：臟比雙拼(臺(tái))', '浴火的少女畫像(港) / 燃 燒女子的畫像(臺(tái))']

該爬蟲需要用到headers，不然會(huì)拒絕連接。

data=re.findall(r'13px\;\"\>([^\<]+)',result.text)

表示在result.text這個(gè)長(zhǎng)字符串中查找，獲取“13px;">”和“<”之間的字符串，" \ "代表轉(zhuǎn)移字符，否則無(wú)法識(shí)別這些符號(hào)。

這個(gè)案例可能不是最好的使用正則表達(dá)式的例子，但是想要給大家分享的是，以后如果遇到很復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，與其一層一層解析，不妨換一種思路，使用正則表達(dá)式說(shuō)不定能夠“柳暗花明又一村”。

總結(jié)

到此這篇關(guān)于Python爬蟲教程之利用正則表達(dá)式匹配網(wǎng)頁(yè)內(nèi)容的文章就介紹到這了,更多相關(guān)Python爬蟲用正則表達(dá)式匹配網(wǎng)頁(yè)內(nèi)容內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論