使用python提取html文件中的特定數(shù)據(jù)的實現(xiàn)代碼
<div class='entry-content'>
<p>感興趣內(nèi)容1</p>
<p>感興趣內(nèi)容2</p>
……
<p>感興趣內(nèi)容n</p>
</div>
<div class='content'>
<p>內(nèi)容1</p>
<p>內(nèi)容2</p>
……
<p>內(nèi)容n</p>
</div>
我們嘗試獲得'感興趣內(nèi)容'
對于文本內(nèi)容,我們保存到IDList中。
可是如何標(biāo)記我們遇到的文本是感興趣的內(nèi)容呢，也就是，處于
<div class='entry-content'>
<p>這里的內(nèi)容</p>
<p>還有這里</p>
……
<p>以及這里的內(nèi)容</p>
</div>
思路如下
- 遇到<div class='entry-content'> 設(shè)置標(biāo)記flag = True
- 遇到</div>后 設(shè)置標(biāo)記flag = False
- 當(dāng)flag 為True時遇到<p> 設(shè)置標(biāo)記getdata = True
- 遇到</p> 且getdata = True,設(shè)置getdata = False
python為我們提供了SGMLParser類，SGMLParser 將 HTML 分析成 8 類數(shù)據(jù)[1]，然后對每一類調(diào)用單獨的方法:使用時只需繼承SGMLParser 類，并編寫頁面信息的處理函數(shù)。
可用的處理函數(shù)如下：
- 開始標(biāo)記 (Start tag)
是一個開始一個塊的 HTML 標(biāo)記，象 <html>，<head>，<body> 或 <pre> 等，或是一個獨一的標(biāo)記，象 <br> 或 <img> 等。當(dāng)它找到一個開始標(biāo)記 tagname，SGMLParser 將查找名為 start_tagname 或 do_tagname 的方法。例如，當(dāng)它找到一個 <pre> 標(biāo)記，它將查找一個 start_pre 或 do_pre 的方法。如果找到了，SGMLParser 會使用這個標(biāo)記的屬性列表來調(diào)用這個方法；否則，它用這個標(biāo)記的名字和屬性列表來調(diào)用 unknown_starttag 方法。
- 結(jié)束標(biāo)記 (End tag)
是結(jié)束一個塊的 HTML 標(biāo)記，象 </html>，</head>，</body> 或 </pre> 等。當(dāng)找到一個結(jié)束標(biāo)記時，SGMLParser 將查找名為 end_tagname 的方法。如果找到，SGMLParser 調(diào)用這個方法，否則它使用標(biāo)記的名字來調(diào)用 unknown_endtag 。
- 字符引用 (Character reference)
用字符的十進(jìn)制或等同的十六進(jìn)制來表示的轉(zhuǎn)義字符，象  。當(dāng)找到，SGMLParser 使用十進(jìn)制或等同的十六進(jìn)制字符文本來調(diào)用 handle_charref 。
- 實體引用 (Entity reference)
HTML 實體，象 ©。當(dāng)找到，SGMLParser 使用 HTML 實體的名字來調(diào)用 handle_entityref 。
- 注釋 (Comment)
HTML 注釋, 包括在 <!-- ... -->之間。當(dāng)找到，SGMLParser 用注釋內(nèi)容來調(diào)用 handle_comment。
- 處理指令 (Processing instruction)
HTML 處理指令，包括在 <? ... > 之間。當(dāng)找到，SGMLParser 用處理指令內(nèi)容來調(diào)用 handle_pi。
- 聲明 (Declaration)
HTML 聲明，如 DOCTYPE，包括在 <! ... >之間。當(dāng)找到，SGMLParser 用聲明內(nèi)容來調(diào)用 handle_decl。
- 文本數(shù)據(jù) (Text data)
文本塊。不滿足其它 7 種類別的任何東西。當(dāng)找到，SGMLParser 用文本來調(diào)用 handle_data。
from sgmllib import SGMLParser
class GetIdList(SGMLParser):
def reset(self):
self.IDlist = []
self.flag = False
self.getdata = False
SGMLParser.reset(self)
def start_div(self, attrs):
for k,v in attrs:#遍歷div的所有屬性以及其值
if k == 'class' and v == 'entry-content':#確定進(jìn)入了<div class='entry-content'>
self.flag = True
return
def end_div(self):#遇到</div>
self.flag = False
def start_p(self, attrs):
if self.flag == False:
return
self.getdata = True
def end_p(self):#遇到</p>
if self.getdata:
self.getdata = False
def handle_data(self, text):#處理文本
if self.getdata:
self.IDlist.append(text)
def printID(self):
for i in self.IDlist:
print i
上面的思路存在一個bug
遇到</div>后 設(shè)置標(biāo)記flag = False
如果遇到div嵌套怎么辦？
<div class='entry-content'><div>我是來搗亂的</div><p>感興趣</p></div>
在遇到第一個</div>之后標(biāo)記flag = False，導(dǎo)致無法的到‘感興趣內(nèi)容'。
怎么辦呢？如何判斷遇到的</div>是和<div class='entry-content'>匹配的哪個呢？
很簡單，</div>和<div>是對應(yīng)的，我們可以記錄他所處的層數(shù)。進(jìn)入子層div verbatim加1,退出子層div verbatim減1.這樣就可以判斷是否是同一層了。
修改后 如下
from sgmllib import SGMLParser
class GetIdList(SGMLParser):
def reset(self):
self.IDlist = []
self.flag = False
self.getdata = False
self.verbatim = 0
SGMLParser.reset(self)
def start_div(self, attrs):
if self.flag == True:
self.verbatim +=1 #進(jìn)入子層div了，層數(shù)加1
return
for k,v in attrs:#遍歷div的所有屬性以及其值
if k == 'class' and v == 'entry-content':#確定進(jìn)入了<div class='entry-content'>
self.flag = True
return
def end_div(self):#遇到</div>
if self.verbatim == 0:
self.flag = False
if self.flag == True:#退出子層div了，層數(shù)減1
self.verbatim -=1
def start_p(self, attrs):
if self.flag == False:
return
self.getdata = True
def end_p(self):#遇到</p>
if self.getdata:
self.getdata = False
def handle_data(self, text):#處理文本
if self.getdata:
self.IDlist.append(text)
def printID(self):
for i in self.IDlist:
print i
最后 建立了我們自己的類GetIdList后如何使用呢？
簡單建立實例 t = GetIdList()
the_page為字符串，內(nèi)容為html
t.feed(the_page)#對html解析
t.printID()打印出結(jié)果
全部測試代碼為
from sgmllib import SGMLParser
class GetIdList(SGMLParser):
def reset(self):
self.IDlist = []
self.flag = False
self.getdata = False
self.verbatim = 0
SGMLParser.reset(self)
def start_div(self, attrs):
if self.flag == True:
self.verbatim +=1 #進(jìn)入子層div了，層數(shù)加1
return
for k,v in attrs:#遍歷div的所有屬性以及其值
if k == 'class' and v == 'entry-content':#確定進(jìn)入了<div class='entry-content'>
self.flag = True
return
def end_div(self):#遇到</div>
if self.verbatim == 0:
self.flag = False
if self.flag == True:#退出子層div了，層數(shù)減1
self.verbatim -=1
def start_p(self, attrs):
if self.flag == False:
return
self.getdata = True
def end_p(self):#遇到</p>
if self.getdata:
self.getdata = False
def handle_data(self, text):#處理文本
if self.getdata:
self.IDlist.append(text)
def printID(self):
for i in self.IDlist:
print i
##import urllib2
##import datetime
##vrg = (datetime.date(2012,2,19) - datetime.date.today()).days
##strUrl = 'http://www.nod32id.org/nod32id/%d.html'%(200+vrg)
##req = urllib2.Request(strUrl)#通過網(wǎng)絡(luò)獲取網(wǎng)頁
##response = urllib2.urlopen(req)
##the_page = response.read()
the_page ='''<html>
<head>
<title>test</title>
</head>
<body>
<h1>title</h1>
<div class='entry-content'>
<div class= 'ooxx'>我是來搗亂的</div>
<p>感興趣內(nèi)容1</p>
<p>感興趣內(nèi)容2</p>
……
<p>感興趣內(nèi)容n</p>
<div class= 'ooxx'>我是來搗亂的2<div class= 'ooxx'>我是來搗亂的3</div></div>
</div>
<div class='content'>
<p>內(nèi)容1</p>
<p>內(nèi)容2</p>
……
<p>內(nèi)容n</p>
</div>
</body>
</html>
'''
lister = GetIdList()
lister.feed(the_page)
lister.printID()
執(zhí)行后 輸出為
感興趣內(nèi)容1
感興趣內(nèi)容2
感興趣內(nèi)容n
參考文獻(xiàn)
[1] 深入 Python:Dive Into Python 中文版
相關(guān)文章
Python實現(xiàn)在tkinter中使用matplotlib繪制圖形的方法示例
這篇文章主要介紹了Python實現(xiàn)在tkinter中使用matplotlib繪制圖形的方法,結(jié)合實例形式分析了Python使用tkinter與matplotlib進(jìn)行正弦曲線圖形繪制的相關(guān)操作技巧,需要的朋友可以參考下2018-01-01
Python網(wǎng)絡(luò)編程之HTTP協(xié)議的python應(yīng)用
HTTP是在網(wǎng)絡(luò)上傳輸HTML的協(xié)議，用于瀏覽器和服務(wù)器的通信，這篇文章主要介紹了Python網(wǎng)絡(luò)編程之HTTP協(xié)議的python應(yīng)用,需要的朋友可以參考下2022-11-11
這篇文章主要介紹了?Python?calendar模塊，Python?專門為了處理日歷提供了calendar日歷模塊，下面文章基于time模塊和datetime模塊展開，具有一定的參考價值,需要的朋友可以參考一下2021-11-11
這篇文章主要介紹了100行Pygame代碼?制作一個貪吃蛇小游戲，相信我們大家都玩過貪吃蛇游戲，今天我們就從頭一起來寫一個貪吃蛇小游戲，只需要100多行的代碼就完成了,需要的朋友可以參考一下2021-12-12
這篇文章主要介紹了Python實現(xiàn)JavaBeans流程，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)吧2023-01-01
python實現(xiàn)用類讀取文件數(shù)據(jù)并計算矩形面積
今天小編就為大家分享一篇python實現(xiàn)用類讀取文件數(shù)據(jù)并計算矩形面積，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-01-01
這篇文章主要介紹了Python數(shù)據(jù)可視化庫Bokeh的使用總結(jié)，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2021-11-11
淺談在JupyterNotebook下導(dǎo)入自己的模塊的問題
這篇文章主要介紹了淺談在JupyterNotebook下導(dǎo)入自己的模塊的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-04-04
matplotlib庫是一個用于創(chuàng)建出版質(zhì)量圖表的桌面繪圖包（2D繪圖庫），是Python中最基本的可視化工具。這篇文章主要介紹了Python時間序列可視化實現(xiàn),需要的朋友可以參考下2019-08-08
Highcharts圖表控件是目前使用最為廣泛的圖表控件 ,是純JS圖表庫。這篇文章主要介紹了Django Highcharts制作圖表的相關(guān)資料，非常的詳細(xì)，有需要的小伙伴可以來參考下2016-08-08