Python Pycurl的屬性與方法案例詳解
更新時(shí)間：2021年09月01日 16:07:05 投稿：xusong
這篇文章主要介紹了Python Pycurl的屬性與方法案例詳解,本篇文章通過(guò)簡(jiǎn)要的案例,講解了該項(xiàng)技術(shù)的了解與使用,以下就是詳細(xì)內(nèi)容,需要的朋友可以參考下
Pycurl包是一個(gè)libcurl的Python接口，由C語(yǔ)言編寫的，功能強(qiáng)大，速度快。由于pycurl的屬性和方法太多了，寫這篇博文記錄一下pycurl的屬性和方法。
正常安裝
pip install pycurl
如果出現(xiàn)問(wèn)題，可以按照系統(tǒng)版本搜索安裝方法，比如centos7.1 安裝pycurl
通用請(qǐng)求方法
import pycurl,urllib
from io import BytesIO
url = 'http://www.baidu.com'
headers = [
"User-Agent:Mozilla/5.0 (iPhone; CPU iPhone OS 5_0 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9A334 Safari/7534.48.3",
]
data = {
"cityListName":"",
"trade": ""
}
c = pycurl.Curl() #通過(guò)curl方法構(gòu)造一個(gè)對(duì)象
#c.setopt(pycurl.REFERER, 'http://www.baidu.com/') #設(shè)置referer
c.setopt(pycurl.FOLLOWLOCATION, True) #自動(dòng)進(jìn)行跳轉(zhuǎn)抓取
c.setopt(pycurl.MAXREDIRS,5) #設(shè)置最多跳轉(zhuǎn)多少次
c.setopt(pycurl.CONNECTTIMEOUT, 60) #設(shè)置鏈接超時(shí)
c.setopt(pycurl.TIMEOUT,120) #下載超時(shí)
c.setopt(pycurl.ENCODING, 'gzip,deflate') #處理gzip內(nèi)容
# c.setopt(c.PROXY,ip) # 代理
c.fp = BytesIO()
c.setopt(pycurl.URL, url) #設(shè)置要訪問(wèn)的URL
c.setopt(pycurl.HTTPHEADER,headers) #傳入請(qǐng)求頭
c.setopt(pycurl.POST, 1)
c.setopt(pycurl.POSTFIELDS, urllib.urlencode(data)) #傳入POST數(shù)據(jù)
c.setopt(c.WRITEFUNCTION, c.fp.write) #回調(diào)寫入字符串緩存
c.perform()
code = c.getinfo(c.HTTP_CODE) #返回狀態(tài)碼
html = c.fp.getvalue() #返回源代碼
print c.getinfo(c.TOTAL_TIME)
GET請(qǐng)求方法
c = pycurl.Curl() #通過(guò)curl方法構(gòu)造一個(gè)對(duì)象 c.setopt(pycurl.FOLLOWLOCATION, True) #自動(dòng)進(jìn)行跳轉(zhuǎn)抓取 c.setopt(pycurl.MAXREDIRS,5) #設(shè)置最多跳轉(zhuǎn)多少次 c.setopt(pycurl.CONNECTTIMEOUT, 60) #設(shè)置鏈接超時(shí) c.setopt(pycurl.TIMEOUT,120) #下載超時(shí) c.setopt(pycurl.ENCODING, 'gzip,deflate') #處理gzip內(nèi)容 # c.setopt(c.PROXY,ip) # 代理 c.fp = BytesIO() c.setopt(pycurl.URL, url) #設(shè)置要訪問(wèn)的URL c.setopt(pycurl.USERAGENT,ua) #傳入ua # c.setopt(pycurl.HTTPHEADER,self.headers) #傳入請(qǐng)求頭 c.setopt(c.WRITEFUNCTION, c.fp.write) #回調(diào)寫入字符串緩存 c.perform() code = c.getinfo(c.HTTP_CODE) #返回狀態(tài)碼 html = c.fp.getvalue() #返回源代碼
POST請(qǐng)求方法
c = pycurl.Curl() #通過(guò)curl方法構(gòu)造一個(gè)對(duì)象 c.setopt(pycurl.FOLLOWLOCATION, True) #自動(dòng)進(jìn)行跳轉(zhuǎn)抓取 c.setopt(pycurl.MAXREDIRS,5) #設(shè)置最多跳轉(zhuǎn)多少次 c.setopt(pycurl.CONNECTTIMEOUT, 60) #設(shè)置鏈接超時(shí) c.setopt(pycurl.TIMEOUT,120) #下載超時(shí) c.setopt(pycurl.ENCODING, 'gzip,deflate') #處理gzip內(nèi)容 # c.setopt(c.PROXY,ip) # 代理 c.fp = BytesIO() c.setopt(pycurl.URL, url) #設(shè)置要訪問(wèn)的URL c.setopt(pycurl.USERAGENT,ua ) #傳入U(xiǎn)ser-Agent # c.setopt(pycurl.HTTPHEADER,headers) #傳入請(qǐng)求頭 c.setopt(pycurl.POST, 1) c.setopt(pycurl.POSTFIELDS, urllib.parse.urlencode(data)) c.setopt(c.WRITEFUNCTION, c.fp.write) #回調(diào)寫入字符串緩存 c.perform() code = c.getinfo(c.HTTP_CODE) #返回狀態(tài)碼 html = c.fp.getvalue() #返回源代碼
windows訪問(wèn)https
windows 訪問(wèn)https的方法，需要證書
import certifi c.setopt(pycurl.CAINFO, certifi.where())
獲取網(wǎng)頁(yè)多重跳轉(zhuǎn)之后的地址
c.getinfo(pycurl.EFFECTIVE_URL) 獲取網(wǎng)頁(yè)的最終地址
記錄Cookie
c.setopt(pycurl.COOKIEFILE, "cookie_file_etherscan") #讀取cookie c.setopt(pycurl.COOKIEJAR, "cookie_file_etherscan") #設(shè)置cookie
其他屬性
pycurl的部分API:
pycurl.Curl() #創(chuàng)建一個(gè)pycurl對(duì)象的方法 pycurl.Curl(pycurl.URL, http://www.google.com.hk) #設(shè)置要訪問(wèn)的URL pycurl.Curl().setopt(pycurl.MAXREDIRS, 5) #設(shè)置最大重定向次數(shù) pycurl.Curl().setopt(pycurl.CONNECTTIMEOUT, 60) pycurl.Curl().setopt(pycurl.TIMEOUT, 300) #連接超時(shí)設(shè)置 pycurl.Curl().setopt(pycurl.USERAGENT, "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)") #模擬瀏覽器 pycurl.Curl().perform() #服務(wù)器端返回的信息 pycurl.Curl().getinfo(pycurl.HTTP_CODE) #查看HTTP的狀態(tài) 類似urllib中status屬性 pycurl.NAMELOOKUP_TIME 域名解析時(shí)間 pycurl.CONNECT_TIME 遠(yuǎn)程服務(wù)器連接時(shí)間 pycurl.PRETRANSFER_TIME 連接上后到開(kāi)始傳輸時(shí)的時(shí)間 pycurl.STARTTRANSFER_TIME 接收到第一個(gè)字節(jié)的時(shí)間 pycurl.TOTAL_TIME 上一請(qǐng)求總的時(shí)間 pycurl.REDIRECT_TIME 如果存在轉(zhuǎn)向的話，花費(fèi)的時(shí)間 pycurl.HTTP_CODE HTTP 響應(yīng)代碼 pycurl.REDIRECT_COUNT 重定向的次數(shù) pycurl.SIZE_UPLOAD 上傳的數(shù)據(jù)大小 pycurl.SIZE_DOWNLOAD 下載的數(shù)據(jù)大小 pycurl.SPEED_UPLOAD 上傳速度 pycurl.HEADER_SIZE 頭部大小 pycurl.REQUEST_SIZE 請(qǐng)求大小 pycurl.CONTENT_LENGTH_DOWNLOAD 下載內(nèi)容長(zhǎng)度 pycurl.CONTENT_LENGTH_UPLOAD 上傳內(nèi)容長(zhǎng)度 pycurl.CONTENT_TYPE 內(nèi)容的類型 pycurl.RESPONSE_CODE 響應(yīng)代碼 pycurl.SPEED_DOWNLOAD 下載速度 pycurl.INFO_FILETIME 文件的時(shí)間信息 pycurl.HTTP_CONNECTCODE HTTP 連接代碼
參考文檔
http://pycurl.io/docs/latest/quickstart.html
到此這篇關(guān)于Python Pycurl的屬性與方法案例詳解的文章就介紹到這了,更多相關(guān)Python Pycurl的屬性與方法內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
python 實(shí)現(xiàn)return返回多個(gè)值
今天小編就為大家分享一篇python 實(shí)現(xiàn)return返回多個(gè)值，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-11-11
今天小編就為大家分享一篇Python徹底刪除文件夾及其子文件方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-12-12
今天小編就為大家分享一篇Django之提交表單與前后端交互的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-07-07
這篇文章將從做核酸采集這一實(shí)際問(wèn)題出發(fā)，詳細(xì)講解Python讀取文件的四種方式，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以了解一下2022-03-03
Python實(shí)現(xiàn)信息管理系統(tǒng)
這篇文章主要為大家詳細(xì)介紹了Python實(shí)現(xiàn)信息管理系統(tǒng)，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-06-06
Python?tkinter中四個(gè)常用按鈕的用法總結(jié)
tkinter中有四個(gè)控件被冠以Button之名,分別是：Button,?Checkbutton,?Radiobutton,?Menubutton,下面小編就來(lái)和大家聊聊它們的具體用法,感興趣的可以學(xué)習(xí)一下2023-09-09
Python實(shí)現(xiàn)圖片和base64轉(zhuǎn)換詳解
這篇文章主要介紹了Python實(shí)現(xiàn)圖片和base64轉(zhuǎn)換詳解,Base64是一種二進(jìn)制到文本的編碼方式,如果要更具體一點(diǎn)的話,可以認(rèn)為它是一種將 byte數(shù)組編碼為字符串的方法,而且編碼出的字符串只包含ASCII基礎(chǔ)字符,需要的朋友可以參考下2024-01-01
Python實(shí)現(xiàn)刪除列表中滿足一定條件的元素示例
這篇文章主要介紹了Python實(shí)現(xiàn)刪除列表中滿足一定條件的元素,結(jié)合具體實(shí)例形式對(duì)比分析了Python針對(duì)列表元素的遍歷、復(fù)制、刪除等相關(guān)操作技巧,需要的朋友可以參考下2017-06-06
Python+matplotlib實(shí)現(xiàn)華麗的文本框演示代碼
這篇文章主要介紹了Python+matplotlib實(shí)現(xiàn)華麗的文本框演示代碼，分享了相關(guān)代碼示例，小編覺(jué)得還是挺不錯(cuò)的，具有一定借鑒價(jià)值，需要的朋友可以參考下2018-01-01
本文主要介紹了Pandas條件篩選與組合篩選的使用，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-01-01