對(duì)于大多數(shù)朋友而言，爬蟲絕對(duì)是學(xué)習(xí) python 的最好的起手和入門方式。因?yàn)榕老x思維模式固定，編程模式也相對(duì)簡(jiǎn)單，一般在細(xì)節(jié)處理上積累一些經(jīng)驗(yàn)都可以成功入門。本文想針對(duì)某一網(wǎng)頁對(duì)  python 基礎(chǔ)爬蟲的兩大解析庫（  BeautifulSoup 和  lxml ）和幾種信息提取實(shí)現(xiàn)方法進(jìn)行分析，以開  python 爬蟲之初見。

基礎(chǔ)爬蟲的固定模式

筆者這里所談的基礎(chǔ)爬蟲，指的是不需要處理像異步加載、驗(yàn)證碼、代理等高階爬蟲技術(shù)的爬蟲方法。一般而言，基礎(chǔ)爬蟲的兩大請(qǐng)求庫 urllib 和  requests 中  requests 通常為大多數(shù)人所鐘愛，當(dāng)然  urllib 也功能齊全。兩大解析庫  BeautifulSoup 因其強(qiáng)大的  HTML 文檔解析功能而備受青睞，另一款解析庫  lxml 在搭配  xpath 表達(dá)式的基礎(chǔ)上也效率提高。就基礎(chǔ)爬蟲來說，兩大請(qǐng)求庫和兩大解析庫的組合方式可以依個(gè)人偏好來選擇。

筆者喜歡用的爬蟲組合工具是：

• requests +  BeautifulSoup
• requests +  lxml

同一網(wǎng)頁爬蟲的四種實(shí)現(xiàn)方式

筆者以騰訊新聞首頁的新聞信息抓取為例。

首頁外觀如下：

比如說我們想抓取每個(gè)新聞的標(biāo)題和鏈接，并將其組合為一個(gè)字典的結(jié)構(gòu)打印出來。首先查看 HTML 源碼確定新聞標(biāo)題信息組織形式。

可以目標(biāo)信息存在于 em 標(biāo)簽下  a 標(biāo)簽內(nèi)的文本和  href 屬性中?？芍苯永?nbsp; requests 庫構(gòu)造請(qǐng)求，并用  BeautifulSoup 或者  lxml 進(jìn)行解析。

方式一： requests +  BeautifulSoup +  select css選擇器

 # select method
 import requests
 from bs4 import BeautifulSoup
 headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'} 
 url = 'http://news.qq.com/' 
 Soup = BeautifulSoup(requests.get(url=url, headers=headers).text.encode("utf-8"), 'lxml')
 em = Soup.select('em[class="f14 l24"] a')
 for i in em:
   title = i.get_text()
   link = i['href']
   print({'標(biāo)題': title, 
 '鏈接': link
   })

很常規(guī)的處理方式，抓取效果如下：

方式二： requests +  BeautifulSoup +  find_all 進(jìn)行信息提取

 # find_all method
 import requests
 from bs4 import BeautifulSoup
 headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'}
 url = 'http://news.qq.com/'
 Soup = BeautifulSoup(requests.get(url=url, headers=headers).text.encode("utf-8"), 'lxml') 
 em = Soup.find_all('em', attrs={'class': 'f14 l24'})for i in em:
   title = i.a.get_text()
   link = i.a['href']
   print({'標(biāo)題': title,
      '鏈接': link
   })

同樣是 requests +  BeautifulSoup 的爬蟲組合，但在信息提取上采用了  find_all 的方式。效果如下：

方式三： requests +  lxml/etree +  xpath 表達(dá)式

 # lxml/etree method
 import requests
 from lxml import etree 
 headers = {  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'}
 url = 'http://news.qq.com/'
 html = requests.get(url = url, headers = headers)
 con = etree.HTML(html.text)
 title = con.xpath('//em[@class="f14 l24"]/a/text()')
 link = con.xpath('//em[@class="f14 l24"]/a/@href')
 for i in zip(title, link):
   print({'標(biāo)題': i[0],
 '鏈接': i[1]
   })

使用 lxml 庫下的  etree 模塊進(jìn)行解析，然后使用  xpath 表達(dá)式進(jìn)行信息提取，效率要略高于  BeautifulSoup +  select 方法。這里對(duì)兩個(gè)列表的組合采用了  zip 方法。python學(xué)習(xí)交流群：125240963效果如下：

方式四： requests +  lxml/html/fromstring +  xpath 表達(dá)式

 # lxml/html/fromstring method
 import requests
 import lxml.html as HTML 
 headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'}
 url = 'http://news.qq.com/'
 con = HTML.fromstring(requests.get(url = url, headers = headers).text)
 title = con.xpath('//em[@class="f14 l24"]/a/text()')
 link = con.xpath('//em[@class="f14 l24"]/a/@href')
 for i in zip(title, link):
   print({'標(biāo)題': i[0],'鏈接': i[1]
   })

跟方法三類似，只是在解析上使用了 lxml 庫下的  html.fromstring 模塊。抓取效果如下：

很多人覺得爬蟲有點(diǎn)難以掌握，因?yàn)橹R(shí)點(diǎn)太多，需要懂前端、需要python熟練、還需要懂?dāng)?shù)據(jù)庫，更不用說正則表達(dá)式、XPath表達(dá)式這些。其實(shí)對(duì)于一個(gè)簡(jiǎn)單網(wǎng)頁的數(shù)據(jù)抓取，不妨多嘗試幾種抓取方案，舉一反三，也更能對(duì)python爬蟲有較深的理解。長(zhǎng)此以往，對(duì)于各類網(wǎng)頁結(jié)構(gòu)都有所涉獵，自然經(jīng)驗(yàn)豐富，水到渠成。

總結(jié)

以上所述是小編給大家介紹的Python爬蟲的兩套解析方法和四種爬蟲實(shí)現(xiàn)過程，希望對(duì)大家有所幫助，如果大家有任何疑問請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持！

最新評(píng)論