快捷導(dǎo)航

用Python程序抓取網(wǎng)頁(yè)的HTML信息的一個(gè)小實(shí)例

更新時(shí)間：2015年05月02日 15:02:49 作者：cyqian

這篇文章主要介紹了用Python程序抓取網(wǎng)頁(yè)的HTML信息的一個(gè)小實(shí)例,用到的方法同時(shí)也是用Python編寫爬蟲的基礎(chǔ),需要的朋友可以參考下

抓取網(wǎng)頁(yè)數(shù)據(jù)的思路有好多種，一般有：直接代碼請(qǐng)求http、模擬瀏覽器請(qǐng)求數(shù)據(jù)（通常需要登錄驗(yàn)證）、控制瀏覽器實(shí)現(xiàn)數(shù)據(jù)抓取等。這篇不考慮復(fù)雜情況，放一個(gè)讀取簡(jiǎn)單網(wǎng)頁(yè)數(shù)據(jù)的小例子：
目標(biāo)數(shù)據(jù)

將ittf網(wǎng)站上這個(gè)頁(yè)面上所有這些選手的超鏈接保存下來(lái)。

201552150315618.png (600×587)

數(shù)據(jù)請(qǐng)求

真的很喜歡符合人類思維的庫(kù)，比如requests，如果是要直接拿網(wǎng)頁(yè)文本，一句話搞定：

doc = requests.get(url).text

解析html獲得數(shù)據(jù)

以beautifulsoup為例，包含獲取標(biāo)簽、鏈接，以及根據(jù)html層次結(jié)構(gòu)遍歷等方法。參考見這里。下面這個(gè)片段，從ittf網(wǎng)站上獲取指定頁(yè)面上指定位置的鏈接。

url = 'http://www.ittf.com/ittf_ranking/WR_Table_3_A2.asp?Age_category_1=&Age_category_2=&Age_category_3=&Age_category_4=&Age_category_5=&Category=100W&Cont=&Country=&Gender=W&Month1=4&Year1=2015&s_Player_Name=&Formv_WR_Table_3_Page='+str(page)
doc = requests.get(url).text
soup = BeautifulSoup(doc)
atags = soup.find_all('a')
rank_link_pre = 'http://www.ittf.com/ittf_ranking/'

mlfile = open(linkfile,'a')
for atag in atags:
  #print atag
  if atag!=None and atag.get('href') != None:
    if "WR_Table_3_A2_Details.asp" in atag['href']:
      link = rank_link_pre + atag['href']
      links.append(link)
      mlfile.write(link+'\n')
      print 'fetch link: '+link
mlfile.close()

您可能感興趣的文章:

Python

相關(guān)文章

python 實(shí)現(xiàn)在無(wú)序數(shù)組中找到中位數(shù)方法
這篇文章主要介紹了python 實(shí)現(xiàn)在無(wú)序數(shù)組中找到中位數(shù)方法，具有很好對(duì)參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2020-03-03
如何將寫好的.py/.java程序變成.exe文件詳解
有時(shí)候我們需要將自己寫的代碼打包成exe文件,給別人使用需要怎么辦呢,下面這篇文章主要給大家介紹了關(guān)于如何將寫好的.py/.java程序變成.exe文件的相關(guān)資料,需要的朋友可以參考下
2023-01-01
利用python實(shí)現(xiàn)漢諾塔游戲
這篇文章主要為大家詳細(xì)介紹了利用python實(shí)現(xiàn)漢諾塔游戲，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2021-03-03
海王小姐姐悄悄問(wèn)我怎么在PC端登錄多個(gè)微信
這篇文章主要介紹了怎么在PC端登錄多個(gè)微信號(hào),眾所周知pc端一般只能登陸一個(gè)微信號(hào),可這年頭誰(shuí)還只有一個(gè)號(hào),又不能同時(shí)用兩臺(tái)電腦,這篇文章帶給你答案
2021-08-08
Python 轉(zhuǎn)換RGB顏色值的示例代碼
這篇文章主要介紹了Python 轉(zhuǎn)換RGB顏色值的示例代碼，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2019-10-10
通過(guò)python實(shí)現(xiàn)windows桌面截圖代碼實(shí)例
這篇文章主要介紹了python實(shí)現(xiàn)windows桌面截圖代碼實(shí)例,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2020-01-01
python中opencv K均值聚類的實(shí)現(xiàn)示例
本文主要介紹了python中opencv K均值聚類的實(shí)現(xiàn)示例，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2022-06-06
快速進(jìn)修Python指南之函數(shù)進(jìn)階
這篇文章主要為大家介紹了Java開發(fā)者快速進(jìn)修Python指南之函數(shù)進(jìn)階示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
2023-12-12
Python Django 簡(jiǎn)單分頁(yè)的實(shí)現(xiàn)代碼解析
這篇文章主要介紹了Python Django 簡(jiǎn)單分頁(yè)的實(shí)現(xiàn)代碼解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2019-08-08
詳解python中文編碼問(wèn)題
一直以來(lái)python中文編碼是個(gè)及其頭大的問(wèn)題，需要好好學(xué)習(xí)下，我用python為例，簡(jiǎn)單介紹下python編程時(shí)如何處理好中文編碼的問(wèn)題，感興趣的朋友們可以參考下
2021-06-06