快捷導航

Python使用XPath定位元素的入門實戰(zhàn)指南

更新時間：2026年04月23日 08:13:55 作者：detayun

XPath是一種強大的XML/HTML文檔定位語言,支持精準元素查詢和復雜條件篩選,本文介紹了XPath在Python開發(fā)中的關(guān)鍵應用,包括自動化測試,爬蟲和數(shù)據(jù)分析,感興趣的小伙伴可以了解下

在自動化測試、爬蟲開發(fā)或 Web 數(shù)據(jù)分析中，XPath（XML Path Language） 是一種強大的工具，用于在 HTML/XML 文檔中精準定位元素。Python 的 lxml、selenium 和 scrapy 等庫都支持 XPath，使其成為開發(fā)者必備的技能之一。

本文將詳細介紹 XPath 的基本語法、Python 中的使用方法，并通過 實戰(zhàn)案例 幫助你快速掌握 XPath 定位技巧。

1. XPath 是什么

XPath 是一種用于在 XML/HTML 文檔中導航和選擇節(jié)點的查詢語言。它可以通過 路徑表達式 定位元素，支持層級關(guān)系、屬性匹配、條件篩選等高級功能。

XPath 的優(yōu)勢

精準定位：比 CSS 選擇器更靈活，支持復雜查詢。
跨瀏覽器兼容：適用于所有瀏覽器（如 Chrome、Firefox、Edge）。
支持動態(tài)內(nèi)容：可結(jié)合 selenium 定位動態(tài)加載的元素。
適用于爬蟲：scrapy 和 lxml 均支持 XPath 解析 HTML。

2. XPath 基本語法

2.1 基本路徑表達式

表達式	說明	示例
`/`	從根節(jié)點開始	`/html/body/div`
`//`	從任意節(jié)點開始（不限制層級）	`//div`（所有 `<div>`）
`.`	當前節(jié)點	`./div`（當前節(jié)點的 `<div>`）
`..`	父節(jié)點	`//div/..`（`<div>` 的父節(jié)點）
`@`	匹配屬性	`//div[@class="header"]`

2.2 條件篩選（謂詞[]）

表達式	說明	示例
`[1]`	第一個匹配的元素	`//div[1]`（第一個 `<div>`）
`[@id="xxx"]`	匹配特定屬性	`//input[@id="username"]`
`[contains(@class, "xxx")]`	屬性包含某值	`//div[contains(@class, "header")]`
`[starts-with(@class, "xxx")]`	屬性以某值開頭	`//div[starts-with(@class, "col-")]`
`[text()="xxx"]`	匹配文本內(nèi)容	`//p[text()="Hello"]`
`[last()]`	最后一個匹配的元素	`//div[last()]`

2.3 邏輯運算符

運算符	說明	示例
`and`	邏輯與	`//div[@class="a" and @id="b"]`
`or`	邏輯或	`//div[@class="a" or @class="b"]`
`not()`	邏輯非	`//div[not(@class)]`（無 `class` 的 `<div>`）

3. Python 中使用 XPath

3.1 使用lxml解析 HTML（適用于爬蟲）

from lxml import etree

html = """
<html>
    <body>
        <div class="header">
            <h1>Welcome</h1>
            <p class="desc">This is a demo.</p>
        </div>
    </body>
</html>
"""

# 解析 HTML
tree = etree.HTML(html)

# 使用 XPath 定位元素
h1 = tree.xpath('//h1/text()')[0]  # 獲取 <h1> 的文本
desc = tree.xpath('//p[@class="desc"]/text()')[0]  # 獲取 <p class="desc"> 的文本

print(f"Title: {h1}")  # 輸出: Welcome
print(f"Description: {desc}")  # 輸出: This is a demo.

3.2 使用selenium定位動態(tài)元素（適用于自動化測試）

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.get("https://example.com")

# 使用 XPath 定位元素
element = driver.find_element(By.XPATH, '//input[@id="username"]')
element.send_keys("admin")

# 定位多個元素
elements = driver.find_elements(By.XPATH, '//div[contains(@class, "item")]')
for el in elements:
    print(el.text)

driver.quit()

3.3 使用scrapy爬取數(shù)據(jù)（適用于爬蟲開發(fā)）

import scrapy

class ExampleSpider(scrapy.Spider):
    name = "example"
    start_urls = ["https://example.com"]

    def parse(self, response):
        # 使用 XPath 提取數(shù)據(jù)
        titles = response.xpath('//h1/text()').getall()
        links = response.xpath('//a/@href').getall()

        for title, link in zip(titles, links):
            yield {
                "title": title.strip(),
                "url": link,
            }

4. XPath 實戰(zhàn)案例

案例 1：定位動態(tài)加載的按鈕

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.get("https://demo.seleniumeasy.com/dynamic-loading-example.html")

# 等待按鈕出現(xiàn)并點擊
button = driver.find_element(
    By.XPATH,
    '//div[contains(@class, "btn-primary")][@id="startButton"]'
)
button.click()

案例 2：爬取電商網(wǎng)站商品信息

import requests
from lxml import etree

url = "https://example.com/products"
response = requests.get(url)
tree = etree.HTML(response.text)

# 提取商品名稱和價格
products = tree.xpath('//div[@class="product-item"]')
for product in products:
    name = product.xpath('.//h2/text()')[0].strip()
    price = product.xpath('.//span[@class="price"]/text()')[0].strip()
    print(f"{name}: {price}")

案例 3：定位表格中的特定行

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.get("https://example.com/table-demo")

# 定位第二行的第三列（索引從 1 開始）
cell = driver.find_element(
    By.XPATH,
    '//table//tr[2]/td[3]'
)
print(cell.text)

5. XPath 調(diào)試技巧

瀏覽器開發(fā)者工具：

按 F12 打開 DevTools。
按 Ctrl+F 輸入 XPath 測試是否匹配目標元素。

try-except 處理異常：

try:
    element = driver.find_element(By.XPATH, '//div[@id="non-existent"]')
except Exception as e:
    print(f"定位失敗: {e}")

使用 contains() 避免 class 順序問題：

# 錯誤寫法（如果 class 順序變化會失效）
'//div[@class="flex size-36"]'

# 正確寫法（推薦）
'//div[contains(@class, "flex") and contains(@class, "size-36")]'

6. 總結(jié)

XPath 是一種強大的定位工具，適用于 lxml、selenium、scrapy 等 Python 庫。
基本語法 包括 /、//、@、[] 等，支持條件篩選和邏輯運算。
實戰(zhàn)技巧：
- 使用 contains() 避免 class 順序問題。
- 結(jié)合 selenium 定位動態(tài)元素。
- 在瀏覽器中調(diào)試 XPath 確保準確性。