1.簡(jiǎn)介

大家好我是費(fèi)老師，在諸如網(wǎng)絡(luò)爬蟲、web應(yīng)用開發(fā)等場(chǎng)景中，我們需要利用Python完成大量的url解析、生成等操作。

而在Python生態(tài)中，無論是使用諸如urllib之類的標(biāo)準(zhǔn)庫(kù)，還是各種第三方庫(kù)，可以用來有效處理url的方法都非常之豐富。而今天費(fèi)老師我要給大家介紹的url處理庫(kù)，則是我在實(shí)際使用中綜合考慮簡(jiǎn)單易用性與運(yùn)算速度后，最為滿意的。

2.在Python中利用yarl高效處理url

這個(gè)可以用來高效便捷處理url的第三方庫(kù)叫做yarl，使用pip install yarl完成安裝后，下面我們來快速學(xué)習(xí)其主要的一些功能方法：

2.1 利用yarl解析url信息

基于yarl中的URL()，我們可以從任意合法的url中解析出下圖所示的各個(gè)構(gòu)成部分：

先來看一個(gè)簡(jiǎn)單的例子，其中對(duì)我保管每一篇博客文章附件的github倉(cāng)庫(kù)路徑url進(jìn)行解析：

from yarl import URL

url = URL('https://github.com/CNFeffery/DataScienceStudyNotes/tree/master/%E5%8E%86%E5%8F%B2%E6%96%87%E7%AB%A0%E9%99%84%E4%BB%B6%E5%88%97%E8%A1%A8')

原始的網(wǎng)址由于包含了中文等非ASCII字符，所以粘貼到代碼中后變成了url編碼后的樣子，直接調(diào)用human_repr()方法即可進(jìn)行解碼還原：

而通過獲取對(duì)應(yīng)url各部分名稱的屬性，即可分別提取出相應(yīng)信息：

其中端口信息是基于scheme信息按照常規(guī)情況進(jìn)行推斷的，http即為80，https即為443，若需要獲取url中顯式出現(xiàn)的端口信息，可以使用explicit_port：

針對(duì)url中的hash標(biāo)簽信息則可以通過fragment取得：

若要解析的url中包含query參數(shù)信息，則可以直接調(diào)用query得到MultiDict類型的返回結(jié)果，這是種特殊的字典類型，它允許存在重復(fù)的鍵，對(duì)于不存在重復(fù)的鍵值對(duì)，可以像普通字典那樣索引值，否則則需要通過getall()方法來返回所傳入鍵對(duì)應(yīng)的所有值列表：

可以感受到通過yarl解析url非常的方便~

2.2 利用yarl構(gòu)造url

當(dāng)我們需要基于已有的各部分信息構(gòu)造url時(shí)，yarl就更加方便了，基礎(chǔ)的方式是基于URL.build()方法，以函數(shù)傳參的方式定義url：

而如果你已經(jīng)有了具體存在的yarl.URL對(duì)象，想在此基礎(chǔ)上進(jìn)行其他部分內(nèi)容的設(shè)置，則可以使用一系列名稱格式為with_xxx()的方法，其中xxx就對(duì)應(yīng)著各個(gè)部分的名稱：

特別地，針對(duì)查詢參數(shù)部分，還專門有update_query()方法進(jìn)行參數(shù)追加，它與with_query()的區(qū)別可以從下面的例子中體會(huì)到：

2.3 利用/、%運(yùn)算符快捷合成url

在yarl中，針對(duì)/、%運(yùn)算符進(jìn)行了重寫，以支持類似下面例子的快捷操作，非常的方便：

除了上面介紹的yarl常用功能以外，還有譬如利用is_absolute()方法判斷url是否為絕對(duì)路徑等其他實(shí)用功能，感興趣的讀者朋友們可以前往官方文檔了解更多（https://yarl.aio-libs.org/en/latest/index.html）。

到此這篇關(guān)于Python利用yarl實(shí)現(xiàn)輕松操作url的文章就介紹到這了,更多相關(guān)Python yarl操作url內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論