一則python3的簡單爬蟲代碼
更新時間：2014年05月26日 17:29:18 作者：
最近一直在學(xué)習(xí)Python，還有網(wǎng)絡(luò)爬蟲，于是就想起來把2者結(jié)合一下，所以就有了本文。
不得不說python的上手非常簡單。在網(wǎng)上找了一下，大都是python2的帖子，于是隨手寫了個python3的。代碼非常簡單就不解釋了，直接貼代碼。
復(fù)制代碼 代碼如下:
#test rdp
import urllib.request
import re<br>
#登錄用的帳戶信息
data={}
data['fromUrl']=''
data['fromUrlTemp']=''
data['loginId']='12345'
data['password']='12345'
user_agent='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
#登錄地址
#url='http://192.168.1.111:8080/loginCheck'
postdata = urllib.parse.urlencode(data)
postdata = postdata.encode('utf-8')
headers = { 'User-Agent' : user_agent }
#登錄
res = urllib.request.urlopen(url,postdata)
#取得頁面html<br>strResult=(res.read().decode('utf-8'))
#用正則表達(dá)式取出所有A標(biāo)簽
p = re.compile(r'<a href="(.*?)".*?>(.*?)</a>')
for m in p.finditer(strResult):
print (m.group(1))#group(1)是href里面的內(nèi)容，group(2)是a標(biāo)簽里的文字
關(guān)于cookie、異常等處理看了一下，沒有花時間去處理，畢竟只是想通過寫爬蟲來學(xué)習(xí)python。
相關(guān)文章
這篇文章主要介紹了Python入門學(xué)習(xí)之字符串與比較運算符,是Python語法中的基礎(chǔ)知識,需要的朋友可以參考下2015-10-10
在Python中,多線程編程是一個常見需求,尤其是在處理I/O密集型任務(wù)時,然而,多線程環(huán)境下保持任務(wù)執(zhí)行結(jié)果的順序通常較為復(fù)雜,為了解決這一問題,可以通過封裝一個功能來確保即使在多線程環(huán)境下,任務(wù)的執(zhí)行結(jié)果也能按照一定的順序進行收集和處理2024-09-09
這篇文章主要介紹了90行Python代碼開發(fā)個人云盤應(yīng)用，幫助大家更好的理解和學(xué)習(xí)python，感興趣的朋友可以了解下2021-04-04
numpy.ndarray.flatten()函數(shù)的具體使用
本文主要介紹了numpy.ndarray.flatten()函數(shù)的具體使用，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-03-03
在VScode中配置Python開發(fā)環(huán)境的超詳細(xì)指南
在使用VSCode編寫Python代碼前,我們需要先配置Python環(huán)境,這篇文章主要給大家介紹了關(guān)于在VScode中配置Python開發(fā)環(huán)境的相關(guān)資料,需要的朋友可以參考下2023-12-12
readlines() 方法用于讀取所有行(直到結(jié)束符 EOF)并返回列表，該列表可以由 Python 的 for... in ... 結(jié)構(gòu)進行處理，如果碰到結(jié)束符 EOF 則返回空字符串,需要的朋友可以參考下2018-03-03
這篇文章主要介紹了python讀取配置文件方式(ini、yaml、xml)，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-04-04
VSCode配置Anaconda Python環(huán)境的實現(xiàn)
VisualStudioCode中可以使用Anaconda環(huán)境進行Python開發(fā),本文主要介紹了VSCode配置Anaconda Python環(huán)境的實現(xiàn),具有一定的參考價值,感興趣的可以了解一下2025-03-03
每張照片的屬性中都會有一個經(jīng)緯度信息，本文將利用Python實現(xiàn)提取圖片的經(jīng)緯度，并鎖定拍照的低點，感興趣的小伙伴可以跟隨小編一起動手試一試2022-02-02
使用python寫的opencv實時監(jiān)測和解析二維碼和條形碼
這篇文章主要介紹了使用python寫的opencv實時監(jiān)測和解析二維碼和條形碼,本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價值，需要的朋友可以參考下2019-08-08