Python天氣預(yù)報采集器實現(xiàn)代碼(網(wǎng)頁爬蟲)
更新時間：2012年10月07日 00:36:02 作者：
這個天氣預(yù)報采集是從中國天氣網(wǎng)提取廣東省內(nèi)主要城市的天氣并回顯。本來是打算采集騰訊天氣的，但是貌似它的數(shù)據(jù)是用js寫上去還是什么的，得到的html文本中不包含數(shù)據(jù)，所以就算了
爬蟲簡單說來包括兩個步驟：獲得網(wǎng)頁文本、過濾得到數(shù)據(jù)。
1、獲得html文本。
python在獲取html方面十分方便，寥寥數(shù)行代碼就可以實現(xiàn)我們需要的功能。
def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
page.close()
return html
這么幾行代碼相信不用注釋都能大概知道它的意思。
2、根據(jù)正則表達式等獲得需要的內(nèi)容。
使用正則表達式時需要仔細觀察該網(wǎng)頁信息的結(jié)構(gòu)，并寫出正確的正則表達式。
python正則表達式的使用也很簡潔。我的上一篇文章《Python的一些用法》介紹了一點正則的用法。這里需要一個新的用法：
def getWeather(html):
reg = '<a title=.*?>(.*?)</a>.*?<span>(.*?)</span>.*?<b>(.*?)</b>'
weatherList = re.compile(reg).findall(html)
return weatherList
其中reg是正則表達式，html是第一步獲得的文本。findall的作用是找到html中所有符合正則匹配的字符串并存放到weatherList中。之后再枚舉weatheList中的數(shù)據(jù)輸出即可。
這里的正則表達式reg有兩個地方要注意。
一個是“(.*?)”。只要是（）中的內(nèi)容都是我們將要獲得的內(nèi)容，如果有多個括號，那么findall的每個結(jié)果就都包含這幾個括號中的內(nèi)容。上面有三個括號，分別對應(yīng)城市、最低溫和最高溫。
另一個是“.*?”。python的正則匹配默認是貪婪的，即默認盡可能多地匹配字符串。如果在末尾加上問號，則表示非貪婪模式，即盡可能少地匹配字符串。在這里，由于有多個城市的信息需要匹配，所以需要使用非貪婪模式，否則匹配結(jié)果只剩下一個，且是不正確的。
python的使用確實十分方便：）
1、獲得html文本。
python在獲取html方面十分方便，寥寥數(shù)行代碼就可以實現(xiàn)我們需要的功能。
復(fù)制代碼 代碼如下:
def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
page.close()
return html
這么幾行代碼相信不用注釋都能大概知道它的意思。
2、根據(jù)正則表達式等獲得需要的內(nèi)容。
使用正則表達式時需要仔細觀察該網(wǎng)頁信息的結(jié)構(gòu)，并寫出正確的正則表達式。
python正則表達式的使用也很簡潔。我的上一篇文章《Python的一些用法》介紹了一點正則的用法。這里需要一個新的用法：
復(fù)制代碼 代碼如下:
def getWeather(html):
reg = '<a title=.*?>(.*?)</a>.*?<span>(.*?)</span>.*?<b>(.*?)</b>'
weatherList = re.compile(reg).findall(html)
return weatherList
其中reg是正則表達式，html是第一步獲得的文本。findall的作用是找到html中所有符合正則匹配的字符串并存放到weatherList中。之后再枚舉weatheList中的數(shù)據(jù)輸出即可。
這里的正則表達式reg有兩個地方要注意。
一個是“(.*?)”。只要是（）中的內(nèi)容都是我們將要獲得的內(nèi)容，如果有多個括號，那么findall的每個結(jié)果就都包含這幾個括號中的內(nèi)容。上面有三個括號，分別對應(yīng)城市、最低溫和最高溫。
另一個是“.*?”。python的正則匹配默認是貪婪的，即默認盡可能多地匹配字符串。如果在末尾加上問號，則表示非貪婪模式，即盡可能少地匹配字符串。在這里，由于有多個城市的信息需要匹配，所以需要使用非貪婪模式，否則匹配結(jié)果只剩下一個，且是不正確的。
python的使用確實十分方便：）
相關(guān)文章
Python中表達式x += y和x = x+y 的區(qū)別詳解
這篇文章主要跟大家介紹了關(guān)于Python中x += y和x = x+y 的區(qū)別的相關(guān)資料，文中通過示例代碼介紹的非常詳細，對大家具有一定的參考學(xué)習(xí)價值，需要的朋友們下面來一起看看吧。2017-06-06
這篇文章主要介紹了python求最大連續(xù)子數(shù)組的和，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-07-07
python 3利用Dlib 19.7實現(xiàn)攝像頭人臉檢測特征點標定
這篇文章主要為大家詳細介紹了python 3利用Dlib 19.7實現(xiàn)攝像頭人臉檢測特征點標定，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-02-02
這篇文章主要介紹了Python實現(xiàn)中英文全文搜索的示例，幫助大家更好的理解和學(xué)習(xí)python，感興趣的朋友可以了解下2020-12-12
Python面向?qū)ο蟪绦蛟O(shè)計多繼承和多態(tài)用法示例
這篇文章主要介紹了Python面向?qū)ο蟪绦蛟O(shè)計多繼承和多態(tài)用法,結(jié)合實例形式分析了Python面向?qū)ο蟪绦蛟O(shè)計中多繼承、多態(tài)的概念、原理、實現(xiàn)方法及相關(guān)操作注意事項,需要的朋友可以參考下2019-04-04
本文主要介紹了淺談pandas中空值的處理方法，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-07-07
這篇文章主要介紹了Python的條件鎖與事件共享詳解,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-09-09
Python利用filestools模塊實現(xiàn)水印添加
最近發(fā)現(xiàn)的這款filestools非標準庫其實真正實現(xiàn)添加水印的只要一個函數(shù)的調(diào)用，一行代碼即可完成水印的添加，感興趣的快跟隨小編一起學(xué)起來吧2022-09-09
今天小編就為大家分享一篇pandas重新生成索引的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-11-11
python四個坐標點對圖片區(qū)域最小外接矩形進行裁剪
在圖像裁剪操作中，opencv和pillow兩個庫都具有相應(yīng)的函數(shù)，如果想要對目標的最小外接矩形進行裁剪該如何操作呢？本文就來詳細的介紹一下2021-06-06