快捷導(dǎo)航

關(guān)于python中的xpath解析定位

更新時(shí)間：2020年03月06日 09:41:31 作者：sss650216

這篇文章主要介紹了關(guān)于python中的xpath解析定位，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧

爬取的網(wǎng)站：http://jbk.39.net/chancegz/

這里只針對(duì)個(gè)別屬性值：

#例如：'別名'下的span標(biāo)簽文本，‘發(fā)病部位'下的span標(biāo)簽文本以及‘掛號(hào)科室‘下的span標(biāo)簽文本
#
def disease(url):
  text = get_html(url)
  tree = etree.HTML(text)
  bm = tree.xpath('//ul[@class="information_ul"]/li/i[text()="別名："]/following-sibling::span/text()')
 bw = tree.xpath('//ul[@class="information_ul"]/li/i[text()="發(fā)病部位："]/following-sibling::span/a/text()')
 ks = tree.xpath('//ul[@class="information_ul"]/li/i[text()="掛號(hào)科室："]/following-sibling::span/a/text()')
  return bm, bw, ks

補(bǔ)充其他：

# /從根元素開始，相當(dāng)于絕對(duì)路徑 
print(tree.xpath('/html/body/ul'))

# //全局搜索，找到所有 
print(tree.xpath('//li')) 
ul = tree.xpath('//ul')

# . 當(dāng)前
# 返回的都是列表，查找到所有
li = ul[0].xpath('./li')
print(li)
 
for l in li:
 
 # 獲取屬性id的值 @id
print(l.xpath('./@id')) 

# 定位 /標(biāo)簽[@屬性='值'] 
liClass = tree.xpath("http://li[@class='liClass']") 
print(liClass) 

#判斷，@屬性='值' --->返回True或False
print(tree.xpath("http://li/@id='12'")) 
print("===========================")
 

#直接使用下標(biāo)訪問，下標(biāo)從1開始 獲取對(duì)個(gè)li里面的文本
print(tree.xpath('//li[2]/text()'))
#last()最后一個(gè)

print(tree.xpath('//li[last()]/text()')) 
#倒數(shù)第二個(gè) 
print(tree.xpath('//li[last()-1]/text()'))

# position() 位置 > < = >= <= 
print(tree.xpath('//li[position()>1]'))

#* 通配 
print(tree.xpath('//*[@class="liClass"]'))

# 或 | 
print(tree.xpath('//li[@class="liClass"] | //div[@class="liClass"]'))

xpath基本語法

表達(dá)式	說明
article	選取所有article元素的所有子節(jié)點(diǎn)
/article	選取根元素article
article/a	選取所有屬于article的子元素的a元素
//div	選取所有div元素（不管出現(xiàn)在文檔里的任何地方）
article//div	選取所有屬于article元素的后代的div元素，不管它出現(xiàn)在article之下的任何位置
//@class	選取所有名為class的屬性

表達(dá)式	說明
/article/div[1]	選取屬于article子元素的第一個(gè)div元素
/article/div[last()]	選取屬于article子元素的最后一個(gè)div元素
/article/div[last()-1]	選取屬于article子元素的倒數(shù)第二個(gè)div元素
//div[@color]	選取所有擁有color屬性的div元素
//div[@color=‘red']	選取所有color屬性值為red的div元素

表達(dá)式	說明
/div/*	選取屬于div元素的所有子節(jié)點(diǎn)
//*	選取所有元素
//div[@*]	選取所有帶屬性的div 元素
//div/a 丨//div/p	選取所有div元素的a和p元素
//span丨//ul	選取文檔中的span和ul元素
article/div/p丨//span	選取所有屬于article元素的div元素的p元素以及文檔中所有的 span元素

補(bǔ)充：

相鄰元素定位，
前一位：
preceding-sibling::div[1]
后一位：
following-sibling::div[1]

前N位：
preceding-sibling::div[N]
后N位：
following-sibling::div[N]


# 爬取i標(biāo)簽中包含相關(guān)檢查節(jié)點(diǎn)的兄弟 a節(jié)點(diǎn)（找到i節(jié)點(diǎn)—>找到其父節(jié)點(diǎn)->找到該父節(jié)點(diǎn)的子節(jié)點(diǎn)a）
content = tree.xpath('//i[contains(text(),"相關(guān)檢查：")]/../a[@class="blue"]/text()')
    
    
xpath多個(gè)class限制
//div[contains(@class, 'demo') and contains(@class, 'other')]

xpath 同時(shí)多個(gè)標(biāo)簽用| 分隔
//div[contains(@class, "jib-lh-articl")]/p | //div[contains(@class, "jib-lh-articl")]/h3

選擇不包含某一屬性的節(jié)點(diǎn)
//div[not(@class)] 沒有class屬性的div
//tbody/tr[not(@class or @id)]

獲取當(dāng)前節(jié)點(diǎn)的是什么類型的html標(biāo)簽
xpath_element.tag

補(bǔ)充知識(shí)：使用Xpath定位元素(和元素定位相關(guān)的Xpath語法)

本文主要講述Xpath語法中，和元素定位相關(guān)的語法

第一種方法：通過絕對(duì)路徑做定位（相信大家不會(huì)使用這種方式）