Python網(wǎng)絡(luò)爬蟲四大選擇器用法原理總結(jié)
前幾天小編連續(xù)寫了四篇關(guān)于Python選擇器的文章，分別用正則表達(dá)式、BeautifulSoup、Xpath、CSS選擇器分別抓取京東網(wǎng)的商品信息。今天小編來給大家總結(jié)一下這四個選擇器，讓大家更加深刻的理解和熟悉Python選擇器。
一、正則表達(dá)式
正則表達(dá)式為我們提供了抓取數(shù)據(jù)的快捷方式。雖然該正則表達(dá)式更容易適應(yīng)未來變化，但又存在難以構(gòu)造、可讀性差的問題。當(dāng)在爬京東網(wǎng)的時候，正則表達(dá)式如下圖所示：
利用正則表達(dá)式實現(xiàn)對目標(biāo)信息的精準(zhǔn)采集
此外 ，我們都知道，網(wǎng)頁時常會產(chǎn)生變更，導(dǎo)致網(wǎng)頁中會發(fā)生一些微小的布局變化時，此時也會使得之前寫好的正則表達(dá)式無法滿足需求，而且還不太好調(diào)試。當(dāng)需要匹配的內(nèi)容有很多的時候，使用正則表達(dá)式提取目標(biāo)信息會導(dǎo)致程序運行的速度減慢，需要消耗更多內(nèi)存。
二、BeautifulSoup
BeautifulSoup是一個非常流行的 Pyhon 模塊。該模塊可以解析網(wǎng)頁，并提供定位內(nèi)容的便捷接口。通過'pip install beautifulsoup4'就可以實現(xiàn)該模塊的安裝了。
利用美麗的湯去提取目標(biāo)信息
使用 BeautifulSoup的第一步是將己下載的 HTML 內(nèi)容解析為 soup文檔。由 于大多 數(shù)網(wǎng) 頁都不具備良好的HTML 格式，因此BeautifulSoup需要對實際格式進行確定。BeautifulSoup能夠正確解析缺失的引號并閉合標(biāo)簽，此外還會添加＜html ＞和＜body＞標(biāo)簽使其成為完整的HTML文檔。通常使用find() 和find_all()方法來定位我們需要的元素。如果你想了解BeautifulSoup全部方法和參數(shù)，可以查閱BeautifulSoup的官方文檔。雖然BeautifulSoup在代碼的理解上比正則表達(dá)式要復(fù)雜一些，但是其更加容易構(gòu)造和理解。
三、Lxml
Lxml模塊使用 C語言編寫，其解析速度比 BeautiflSoup更快，而且其安裝過程也更為復(fù)雜，在此小編就不贅述啦。XPath 使用路徑表達(dá)式在 XML 文檔中選取節(jié)點。節(jié)點是通過沿著路徑或者 step 來選取的。
Xpath
使用 lxml 模塊的第一步和BeautifulSoup一樣，也是將有可能不合法的HTML 解析為 統(tǒng)一格式。 雖然Lxml可以正確解析屬性兩側(cè)缺失的引號，并閉合標(biāo)簽，不過該模塊沒有額外添加＜html ＞和＜body＞標(biāo)簽 。
在線復(fù)制Xpath表達(dá)式可以很方便的復(fù)制Xpath表達(dá)式。但是通過該方法得到的Xpath表達(dá)式放在程序中一般不能用，而且長的沒法看。所以Xpath表達(dá)式一般還是要自己親自上手。
四、CSS
CSS選擇器表示選擇元素所使用 的模式。BeautifulSoup整合了CSS選擇器的語法和自身方便使用API。在網(wǎng)絡(luò)爬蟲的開發(fā)過程中，對于熟悉CSS選擇器語法的人，使用CSS選擇器是個非常方便的方法。
CSS選擇器
下面是一些常用的選擇器示例。
- 選擇所有標(biāo)簽： ＊
- 選擇＜a＞標(biāo) 簽： a
- 選擇所有class＝”link” 的元素： .l in k
- 選擇 class＝”link” 的＜a＞標(biāo)簽： a.link
- 選擇 id= " home ” 的＜a＞標(biāo)簽： a Jhome
- 選擇父元素為＜a＞標(biāo)簽的所有＜ span＞子標(biāo)簽： a > span
- 選擇＜a＞標(biāo)簽內(nèi)部的所有＜span＞標(biāo)簽： a span
- 選擇title屬性為” Home ” 的所有＜a＞標(biāo)簽： a [title=Home]
五、性能對比
lxml 和正則表達(dá)式模塊都是C語言編寫的，而BeautifulSoup則是純Python 編寫的。下表總結(jié)了每種抓取方法的優(yōu)缺點。
相對困難需要注意的是。lxml在內(nèi)部實現(xiàn)中，實際上是將CSS選擇器轉(zhuǎn)換為等價的Xpath選擇器。
六、總結(jié)
如果你的爬蟲瓶頸是下載網(wǎng)頁，而不是抽取數(shù)據(jù)的話，那么使用較慢的方法（如BeautifulSoup） 也不成問題。如果只需抓取少量數(shù)據(jù)，并且想要避免額外依賴的話，那么正則表達(dá)式可能更加適合。不過，通常情況下，l xml是抓取數(shù)據(jù)的最好選擇，這是因為該方法既快速又健壯，而正則表達(dá)式和BeautifulSoup只在某些特定場景下有用。
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
PyQt5實現(xiàn)QLineEdit正則表達(dá)式輸入驗證器
這篇文章主要介紹了PyQt5實現(xiàn)QLineEdit正則表達(dá)式輸入驗證器，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-04-04
今天小編就為大家分享一篇pycham查看程序執(zhí)行的時間方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-11-11
詳解Python靜態(tài)網(wǎng)頁爬取獲取高清壁紙
這篇文章主要介紹了Python爬取高清壁紙，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-04-04
這篇文章主要介紹了python如何實現(xiàn)過濾敏感詞，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下2021-05-05
大家好，本篇文章主要講的是Python中安裝庫的常用方法介紹，感興趣的同學(xué)趕快來看一看吧，對你有幫助的話記得收藏一下，方便下次瀏覽2022-01-01
這篇文章主要介紹了scrapy-splash簡單使用詳解，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-02-02
這篇文章主要介紹了在主機商的共享服務(wù)器上部署Django站點的方法,Django是最具人氣的Python框架,需要的朋友可以參考下2015-07-07
圖像可以進行算術(shù)運算，例如加法、減法和按位運算（AND、OR、NOT、XOR）。這些操作可以幫助改善輸入圖像的屬性。本文主要介紹了OpenCV中常見的圖像算術(shù)運算，需要的可以參考一下2022-10-10
Python查找不限層級Json數(shù)據(jù)中某個key或者value的路徑方式
今天小編就為大家分享一篇Python查找不限層級Json數(shù)據(jù)中某個key或者value的路徑方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02
Python利用matplotlib.pyplot.boxplot()繪制箱型圖實例代碼
相信大家應(yīng)該都知道Python繪制箱線圖主要用matplotlib庫里pyplot模塊里的boxplot()函數(shù),下面這篇文章主要給大家介紹了關(guān)于Python利用matplotlib.pyplot.boxplot()繪制箱型圖的相關(guān)資料,需要的朋友可以參考下2022-08-08