最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Python使用xpath對(duì)解析內(nèi)容進(jìn)行數(shù)據(jù)提取

 更新時(shí)間:2024年05月31日 08:23:16   作者:江禾藜  
XPath 使用路徑表達(dá)式來選取HTML/ XML 文檔中的節(jié)點(diǎn)或節(jié)點(diǎn)集,節(jié)點(diǎn)是通過沿著路徑 (path) 或者步 (steps) 來選取的,本文將給大家介紹Python使用xpath對(duì)解析內(nèi)容進(jìn)行數(shù)據(jù)提取的方法,需要的朋友可以參考下

一、前言

在前面的文章當(dāng)中,已經(jīng)教大家如何去獲取我們需要的數(shù)據(jù)原文內(nèi)容,今天就介紹一個(gè)用于提取所需數(shù)據(jù)的方法之一xpath。在后續(xù)會(huì)講解bs4(beautifulsoup),re正則表達(dá)式。

二、正文

XPath 使用路徑表達(dá)式來選取HTML/ XML 文檔中的節(jié)點(diǎn)或節(jié)點(diǎn)集。節(jié)點(diǎn)是通過沿著路徑 (path) 或者步 (steps) 來選取的。

使用到python中的一個(gè)lxml庫(kù):下載 pip install lxml

選取節(jié)點(diǎn)

表達(dá)式描述
nodename選取此節(jié)點(diǎn)的所有子節(jié)點(diǎn)。
/從根節(jié)點(diǎn)選?。ㄈ∽庸?jié)點(diǎn))。
//從匹配選擇的當(dāng)前節(jié)點(diǎn)選擇文檔中的節(jié)點(diǎn),而不考慮它們的位置(取子孫節(jié)點(diǎn))。
.選取當(dāng)前節(jié)點(diǎn)。
..選取當(dāng)前節(jié)點(diǎn)的父節(jié)點(diǎn)。
@選取屬性。

路徑表達(dá)式

路徑表達(dá)式結(jié)果
bookstore選取 bookstore 元素的所有子節(jié)點(diǎn)。
/bookstore選取根元素 bookstore。注釋:假如路徑起始于正斜杠( / ),則此路徑始終代表到某元素的絕對(duì)路徑!
bookstore/book選取屬于 bookstore 的子元素的所有 book 元素。
//book選取所有 book 子元素,而不管它們?cè)谖臋n中的位置。
bookstore//book選擇屬于 bookstore 元素的后代的所有 book 元素,而不管它們位于 bookstore 之下的什么位置。
//@lang選取名為 lang 的所有屬性。

謂語

謂語用來查找某個(gè)特定的節(jié)點(diǎn)或者包含某個(gè)指定的值的節(jié)點(diǎn)。

謂語被嵌在方括號(hào)中。

路徑表達(dá)式結(jié)果
/bookstore/book[1]選取屬于 bookstore 子元素的第一個(gè) book 元素。
/bookstore/book[last()]選取屬于 bookstore 子元素的最后一個(gè) book 元素。
/bookstore/book[last()-1]選取屬于 bookstore 子元素的倒數(shù)第二個(gè) book 元素。
/bookstore/book[position()<3]選取最前面的兩個(gè)屬于 bookstore 元素的子元素的 book 元素。
//title[@lang]選取所有擁有名為 lang 的屬性的 title 元素。
//title[@lang='eng']選取所有 title 元素,且這些元素?fù)碛兄禐?eng 的 lang 屬性。

選取未知節(jié)點(diǎn)

通配符描述
*匹配任何元素節(jié)點(diǎn)。
@*匹配任何屬性節(jié)點(diǎn)。
node()匹配任何類型的節(jié)點(diǎn)。

--- 在下面的表格中,我們列出了一些路徑表達(dá)式,以及這些表達(dá)式的結(jié)果:

路徑表達(dá)式結(jié)果
/bookstore/*選取 bookstore 元素的所有子元素。
//*選取文檔中的所有元素。
//title[@*]選取所有帶有屬性的 title 元素。

選取若干節(jié)點(diǎn)

通過在路徑表達(dá)式中使用"|"運(yùn)算符,您可以選取若干個(gè)路徑。

路徑表達(dá)式結(jié)果
//book/title//book/price選取 book 元素的所有 title 和 price 元素。
//title//price選取文檔中的所有 title 和 price 元素。
/bookstore/book/title//price選取屬于 bookstore 元素的 book 元素的所有 title 元素,以及文檔中所有的 price 元素。

三、示例

下面給出一個(gè)示例代碼

 # -*- coding:utf-8 -*-
 import requests
 from lxml import etree
 ?
 ?
 class DouGuo(object):
     def __init__(self):
         self.url = "https://www.douguo.com/caipu/%E5%AE%B6%E5%B8%B8%E8%8F%9C/0/20"
         self.headers = {
             "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"
         }
 ?
     def get_data_index(self):
         response = requests.get(self.url, headers=self.headers)
         response.encoding="utf-8"
         if response.status_code == 200:
             return response.text
         else:
             return None
 ?
     def parse_data_index(self, response):
         html = etree.HTML(response)
         data_list = html.xpath('//ul[@class="cook-list"]//li[@class="clearfix"]')
         for data in data_list:
             # 提取文本值
             title = data.xpath("./div/a/text()")[0]
             major = data.xpath("./div/p/text()")[0]
             # 提取屬性值
             head = data.xpath("./div/div[2]/a/img/@alt")[0]
             score = data.xpath("./div/div[1]//span/text()")[0]
             print(f"title: {title}\nmajor: {major}\nhead:{head}\nscore:{score}\n\n")
 ?
     def run(self):
         response = self.get_data_index()
         # print(response)
         self.parse_data_index(response)
 ?
 if __name__ == '__main__':
     spider = DouGuo()
     spider.run()

四、結(jié)語

大家可以嘗試去抓取這個(gè)url https://cs.lianjia.com/ershoufang/

獲取第一頁數(shù)據(jù)即可,同時(shí)也可以思考一下,如何進(jìn)行多頁的獲取,實(shí)現(xiàn)翻頁功能。

到此這篇關(guān)于Python使用xpath對(duì)解析內(nèi)容進(jìn)行數(shù)據(jù)提取的文章就介紹到這了,更多相關(guān)Python xpath數(shù)據(jù)提取內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • python畫折線圖的程序

    python畫折線圖的程序

    這篇文章主要為大家詳細(xì)介紹了python畫折線圖的方法,一個(gè)畫折線圖的程序具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2018-07-07
  • python字符串編碼解碼的使用

    python字符串編碼解碼的使用

    在Python中,字符串的編碼和解碼操作可以通過字符串的encode()和decode()方法來實(shí)現(xiàn),本文主要介紹了python字符串編碼解碼的使用,感興趣的可以了解一下
    2023-12-12
  • python 讀寫txt文件 json文件的實(shí)現(xiàn)方法

    python 讀寫txt文件 json文件的實(shí)現(xiàn)方法

    下面小編就為大家?guī)硪黄猵ython 讀寫、創(chuàng)建 文件的實(shí)現(xiàn)方法。小編覺得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧
    2016-10-10
  • 跟老齊學(xué)Python之字典,你還記得嗎?

    跟老齊學(xué)Python之字典,你還記得嗎?

    在python中,也有一種數(shù)據(jù)與此相近,不僅相近,這種數(shù)據(jù)的名稱就叫做dictionary,翻譯過來是字典,類似于前面的int/str/list,這種類型數(shù)據(jù)名稱是:dict
    2014-09-09
  • pip命令無法使用的解決方法

    pip命令無法使用的解決方法

    今天小編就為大家分享一篇pip命令無法使用的解決方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
    2018-06-06
  • 關(guān)于python中模塊和重載的問題

    關(guān)于python中模塊和重載的問題

    這篇文章主要介紹了python模塊和重載的問題,本文通過實(shí)例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2021-11-11
  • NumPy?ROI區(qū)域操作的詳細(xì)教程

    NumPy?ROI區(qū)域操作的詳細(xì)教程

    本文介紹了OpenCV中ROI的概念及其在圖像處理中的應(yīng)用,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2026-05-05
  • python實(shí)現(xiàn)在pickling的時(shí)候壓縮的方法

    python實(shí)現(xiàn)在pickling的時(shí)候壓縮的方法

    這篇文章主要介紹了python實(shí)現(xiàn)在pickling的時(shí)候壓縮的方法,比較具有實(shí)用價(jià)值,需要的朋友可以參考下
    2014-09-09
  • Python實(shí)現(xiàn)微信消息防撤回功能的實(shí)例代碼

    Python實(shí)現(xiàn)微信消息防撤回功能的實(shí)例代碼

    這篇文章主要介紹了Python實(shí)現(xiàn)微信消息防撤回 ,需要的朋友可以參考下
    2019-04-04
  • Python八大常見排序算法定義、實(shí)現(xiàn)及時(shí)間消耗效率分析

    Python八大常見排序算法定義、實(shí)現(xiàn)及時(shí)間消耗效率分析

    這篇文章主要介紹了Python八大常見排序算法定義、實(shí)現(xiàn)及時(shí)間消耗效率分析,結(jié)合具體實(shí)例形式對(duì)比分析了冒泡排序、直接插入排序、選擇排序、歸并排序、希爾排序、桶排序、堆排序等排序算法的使用與執(zhí)行效率,需要的朋友可以參考下
    2018-04-04

最新評(píng)論

太仆寺旗| 常宁市| 嘉鱼县| 阿图什市| 蒲江县| 马边| 武乡县| 凉城县| 兰考县| 太原市| 康乐县| 沙坪坝区| 浏阳市| 金乡县| 萍乡市| 绍兴县| 广州市| 漾濞| 甘南县| 南郑县| 同心县| 西乡县| 页游| 嵩明县| 汕头市| 旅游| 腾冲县| 铜陵市| 台州市| 邳州市| 逊克县| 江阴市| 麟游县| 阿拉尔市| 津市市| 永定县| 富川| 隆德县| 金坛市| 华池县| 漯河市|