python爬蟲beautifulsoup解析html方法
更新時(shí)間：2020年12月07日 10:00:40 作者：木偶跳舞
這篇文章主要介紹了python爬蟲beautifulsoup解析html方法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
用BeautifulSoup 解析html和xml字符串
實(shí)例：
#!/usr/bin/python
# -*- coding: UTF-8 -*-
from bs4 import BeautifulSoup
import re
#待分析字符串
html_doc = """
<html>
<head>
<title>The Dormouse's story</title>
</head>
<body>
<p class="title aq">
<b>
The Dormouse's story
</b>
</p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a rel="external nofollow" class="sister" id="link1">Elsie</a>,
<a rel="external nofollow" class="sister" id="link2">Lacie</a>
and
<a rel="external nofollow" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.
</p>
<p class="story">...</p>
"""
# html字符串創(chuàng)建BeautifulSoup對(duì)象
soup = BeautifulSoup(html_doc, 'html.parser', from_encoding='utf-8')
#輸出第一個(gè) title 標(biāo)簽
print soup.title
#輸出第一個(gè) title 標(biāo)簽的標(biāo)簽名稱
print soup.title.name
#輸出第一個(gè) title 標(biāo)簽的包含內(nèi)容
print soup.title.string
#輸出第一個(gè) title 標(biāo)簽的父標(biāo)簽的標(biāo)簽名稱
print soup.title.parent.name
#輸出第一個(gè) p 標(biāo)簽
print soup.p
#輸出第一個(gè) p 標(biāo)簽的 class 屬性內(nèi)容
print soup.p['class']
#輸出第一個(gè) a 標(biāo)簽的 href 屬性內(nèi)容
print soup.a['href']
'''
soup的屬性可以被添加,刪除或修改. 再說(shuō)一次, soup的屬性操作方法與字典一樣
'''
#修改第一個(gè) a 標(biāo)簽的href屬性為 http://www.baidu.com/
soup.a['href'] = 'http://www.baidu.com/'
#給第一個(gè) a 標(biāo)簽添加 name 屬性
soup.a['name'] = u'百度'
#刪除第一個(gè) a 標(biāo)簽的 class 屬性為
del soup.a['class']
##輸出第一個(gè) p 標(biāo)簽的所有子節(jié)點(diǎn)
print soup.p.contents
#輸出第一個(gè) a 標(biāo)簽
print soup.a
#輸出所有的 a 標(biāo)簽，以列表形式顯示
print soup.find_all('a')
#輸出第一個(gè) id 屬性等于 link3 的 a 標(biāo)簽
print soup.find(id="link3")
#獲取所有文字內(nèi)容
print(soup.get_text())
#輸出第一個(gè) a 標(biāo)簽的所有屬性信息
print soup.a.attrs
for link in soup.find_all('a'):
#獲取 link 的 href 屬性內(nèi)容
print(link.get('href'))
#對(duì)soup.p的子節(jié)點(diǎn)進(jìn)行循環(huán)輸出
for child in soup.p.children:
print(child)
#正則匹配，名字中帶有b的標(biāo)簽
for tag in soup.find_all(re.compile("b")):
print(tag.name)
爬蟲設(shè)計(jì)思路：
詳細(xì)手冊(cè)：
https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/
到此這篇關(guān)于python爬蟲beautifulsoup解析html方法 的文章就介紹到這了,更多相關(guān)beautifulsoup解析html內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Python雖然也提供了array模塊,但其只支持一維數(shù)組,不支持多維數(shù)組,也沒(méi)有各種運(yùn)算函數(shù),因而不適合數(shù)值運(yùn)算,NumPy的出現(xiàn)彌補(bǔ)了這些不足,這篇文章主要給大家介紹了關(guān)于python中NumPy的安裝與基本操作的相關(guān)資料,需要的朋友可以參考下2022-03-03
簡(jiǎn)單且有用的Python數(shù)據(jù)分析和機(jī)器學(xué)習(xí)代碼
Python編程是一種通用的編程語(yǔ)言,開源、靈活、功能強(qiáng)大且易于使用,python最重要的特性之一是其用于數(shù)據(jù)處理和分析任務(wù)的豐富實(shí)用程序和庫(kù)集,這篇文章主要給大家介紹了一些簡(jiǎn)單且有用的Python數(shù)據(jù)分析和機(jī)器學(xué)習(xí)代碼,需要的朋友可以參考下2021-07-07
python實(shí)現(xiàn)簡(jiǎn)單成績(jī)錄入系統(tǒng)
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)簡(jiǎn)單成績(jī)錄入系統(tǒng)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-09-09
在?Groove?音樂(lè)中，當(dāng)我們改變歌曲時(shí)，底部播放欄的顏色會(huì)隨專輯封面而變，這就是提取了主題色。本文將利用Python實(shí)現(xiàn)圖片主題色的提取，感興趣的可以了解一下2022-03-03
python中str、bytes、十六進(jìn)制字符串之間的相互轉(zhuǎn)換方法
這篇文章主要介紹了在Python中字符串（str）、字節(jié)序列（bytes）以及十六進(jìn)制字符串之間的轉(zhuǎn)換方法,包括如何使用.encode()、.decode()、bytes.fromhex()和.hex()方法進(jìn)行轉(zhuǎn)換,需要的朋友可以參考下2025-03-03
Python中numpy數(shù)組的計(jì)算與轉(zhuǎn)置詳解
大家好，本篇文章主要講的是Python中numpy數(shù)組的計(jì)算與轉(zhuǎn)置詳解，感興趣的同學(xué)趕快來(lái)看一看吧，對(duì)你有幫助的話記得收藏一下，方便下次瀏覽2021-12-12
今天小編就為大家分享一篇Pycharm取消py腳本中SQL識(shí)別的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-11-11
一文帶你搞懂Python中isinstance和type的區(qū)別
在Python中，我們經(jīng)常需要檢查一個(gè)對(duì)象的類型，Python提供了兩種方法來(lái)獲取對(duì)象的類型：isinstance和type，這兩種方法有什么區(qū)別呢，本文將詳細(xì)介紹這兩種方法的區(qū)別和使用,需要的朋友可以參考下2023-06-06
Django 權(quán)限管理(permissions)與用戶組(group)詳解
這篇文章主要介紹了Django 權(quán)限管理(permissions)與用戶組(group)詳解，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-11-11
Python?matplotlib實(shí)戰(zhàn)之雷達(dá)圖繪制
雷達(dá)圖（Radar?Chart）,也被稱為蛛網(wǎng)圖或星型圖,是一種用于可視化多個(gè)變量之間關(guān)系的圖表形式,本文主要為大家介紹了如何使用Matplotlib繪制雷達(dá)圖,需要的小伙伴可以參考下2023-08-08