Python使用BeautifulSoup庫(kù)解析網(wǎng)頁(yè)
一、BeautifulSoup的安裝與基本使用
首先，我們需要使用pip命令來(lái)安裝BeautifulSoup庫(kù)，命令如下：
pip install beautifulsoup4
安裝完成后，我們就可以開(kāi)始使用BeautifulSoup來(lái)解析網(wǎng)頁(yè)了。首先，我們需要導(dǎo)入BeautifulSoup類(lèi)，然后使用BeautifulSoup類(lèi)的構(gòu)造方法創(chuàng)建一個(gè)BeautifulSoup對(duì)象，代碼如下：
from bs4 import BeautifulSoup html_doc = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title"><b>The Dormouse's story</b></p> """ soup = BeautifulSoup(html_doc, 'html.parser') print(soup.prettify())
二、網(wǎng)頁(yè)元素的提取
BeautifulSoup提供了一系列方法，讓我們可以輕松的提取出網(wǎng)頁(yè)中的元素。例如，我們可以使用tag.name屬性獲取標(biāo)簽的名字，tag.string屬性獲取標(biāo)簽內(nèi)的字符串，使用tag['attr']獲取標(biāo)簽的屬性，代碼如下：
from bs4 import BeautifulSoup html_doc = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title"><b>The Dormouse's story</b></p> """ soup = BeautifulSoup(html_doc, 'html.parser') title_tag = soup.title print(title_tag.name) # 輸出：title print(title_tag.string) # 輸出：The Dormouse's story
三、網(wǎng)頁(yè)元素的查找
BeautifulSoup提供了find和find_all方法，讓我們可以輕松的查找到網(wǎng)頁(yè)中的元素。例如，我們可以查找到所有的p標(biāo)簽，代碼如下：
from bs4 import BeautifulSoup
html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were</p>
"""
soup = BeautifulSoup(html_doc, 'html.parser')
p_tags = soup.find_all('p')
for p in p_tags:
print(p.string)四、CSS選擇器的使用
BeautifulSoup還支持CSS選擇器，我們可以使用select方法來(lái)使用CSS選擇器選擇元素，例如：
from bs4 import BeautifulSoup
html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were</p>
"""
soup = BeautifulSoup(html_doc, 'html.parser')
title_tag = soup.select('p.title')
for title in title_tag:
print(title.string)以上就是BeautifulSoup庫(kù)的基本用法，通過(guò)BeautifulSoup，我們可以輕松地解析出網(wǎng)頁(yè)中的元素，為網(wǎng)絡(luò)爬蟲(chóng)提供強(qiáng)大的支持，更多關(guān)于Python 網(wǎng)頁(yè)解析BeautifulSoup庫(kù)的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
這篇文章主要介紹了Python中with及contextlib的用法,結(jié)合實(shí)例形式較為詳細(xì)的分析了with及contextlib的功能、使用方法與相關(guān)注意事項(xiàng),需要的朋友可以參考下2017-06-06
不可否認(rèn),互聯(lián)網(wǎng)已成為“存在之魂”,其活動(dòng)以“連接”或“網(wǎng)絡(luò)”為特征.使用套接字的最關(guān)鍵的基礎(chǔ)之一,使這些網(wǎng)絡(luò)成為可能.本文涵蓋了有關(guān)使用Python進(jìn)行套接字編程的所有領(lǐng)域.套接字可以幫助您建立這些連接,而Python無(wú)疑可以簡(jiǎn)化連接,需要的朋友可以參考下2021-06-06
python 實(shí)現(xiàn)學(xué)生信息管理系統(tǒng)的示例
本篇文章主要分享python學(xué)生管理系統(tǒng)的使用，文章非常詳細(xì)地介紹了通過(guò)示例代碼實(shí)現(xiàn)的學(xué)生管理系統(tǒng)，該系統(tǒng)對(duì)每個(gè)人的研究或工作都有一定的參考學(xué)習(xí)價(jià)值，希望你能在其中有所收獲。2020-11-11
對(duì)python特殊函數(shù) __call__()的使用詳解
今天小編就為大家分享一篇對(duì)python特殊函數(shù) __call__()的使用詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-07-07
Django?事務(wù)回滾的具體實(shí)現(xiàn)
本文主要介紹了Django?事務(wù)回滾的具體實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-02-02
Python OpenCV學(xué)習(xí)之特征點(diǎn)檢測(cè)與匹配詳解
提取圖像的特征點(diǎn)是圖像領(lǐng)域中的關(guān)鍵任務(wù)，不管在傳統(tǒng)還是在深度學(xué)習(xí)的領(lǐng)域中，特征代表著圖像的信息，對(duì)于分類(lèi)、檢測(cè)任務(wù)都是至關(guān)重要的。這篇文章主要為大家詳細(xì)介紹了OpenCV特征點(diǎn)檢測(cè)與匹配，需要的可以參考一下2022-01-01
python實(shí)現(xiàn)得到一個(gè)給定類(lèi)的虛函數(shù)
這篇文章主要介紹了python實(shí)現(xiàn)得到一個(gè)給定類(lèi)的虛函數(shù)的方法,以wx的PyPanel類(lèi)為例講述了打印以base_開(kāi)頭的方法的實(shí)例,需要的朋友可以參考下2014-09-09
這篇文章主要介紹了Python條件分支和循環(huán)用法,結(jié)合實(shí)例形式較為詳細(xì)的分析了Python邏輯運(yùn)算操作符,條件分支語(yǔ)句,循環(huán)語(yǔ)句等功能與基本用法,需要的朋友可以參考下2021-08-08
這篇文章主要介紹了python collections模塊的使用，幫助大家更好的理解和使用python，感興趣的朋友可以了解下2020-10-10
Python實(shí)現(xiàn)排序算法、查找算法和圖遍歷算法實(shí)例
這篇文章主要介紹了Python實(shí)現(xiàn)排序算法、查找算法和圖遍歷算法實(shí)例，排序算法、查找算法和圖遍歷算法是計(jì)算機(jī)科學(xué)中常見(jiàn)且重要的算法。它們?cè)跀?shù)據(jù)處理、搜索和圖結(jié)構(gòu)等領(lǐng)域發(fā)揮著關(guān)鍵作用,需要的朋友可以參考下2023-08-08