Python標(biāo)準(zhǔn)庫(kù)urllib2的一些使用細(xì)節(jié)總結(jié)
Python 標(biāo)準(zhǔn)庫(kù)中有很多實(shí)用的工具類(lèi)，但是在具體使用時(shí)，標(biāo)準(zhǔn)庫(kù)文檔上對(duì)使用細(xì)節(jié)描述的并不清楚，比如 urllib2 這個(gè) HTTP 客戶(hù)端庫(kù)。這里總結(jié)了一些 urllib2 的使用細(xì)節(jié)。
1.Proxy 的設(shè)置
2.Timeout 設(shè)置
3.在 HTTP Request 中加入特定的 Header
4.Redirect
5.Cookie
6.使用 HTTP 的 PUT 和 DELETE 方法
7.得到 HTTP 的返回碼
8.Debug Log
Proxy 的設(shè)置
urllib2 默認(rèn)會(huì)使用環(huán)境變量 http_proxy 來(lái)設(shè)置 HTTP Proxy。如果想在程序中明確控制 Proxy 而不受環(huán)境變量的影響，可以使用下面的方式
import urllib2
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
opener = urllib2.build_opener(proxy_handler)
else:
opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)
這里要注意的一個(gè)細(xì)節(jié)，使用 urllib2.install_opener() 會(huì)設(shè)置 urllib2 的全局 opener 。這樣后面的使用會(huì)很方便，但不能做更細(xì)粒度的控制，比如想在程序中使用兩個(gè)不同的 Proxy 設(shè)置等。比較好的做法是不使用 install_opener 去更改全局的設(shè)置，而只是直接調(diào)用 opener 的 open 方法代替全局的 urlopen 方法。
Timeout 設(shè)置
在老版 Python 中，urllib2 的 API 并沒(méi)有暴露 Timeout 的設(shè)置，要設(shè)置 Timeout 值，只能更改 Socket 的全局 Timeout 值。
import urllib2
import socket
socket.setdefaulttimeout(10) # 10 秒鐘后超時(shí)
urllib2.socket.setdefaulttimeout(10) # 另一種方式
在 Python 2.6 以后，超時(shí)可以通過(guò) urllib2.urlopen() 的 timeout 參數(shù)直接設(shè)置。
import urllib2
response = urllib2.urlopen('http://www.google.com', timeout=10)
在 HTTP Request 中加入特定的 Header
要加入 header，需要使用 Request 對(duì)象：
import urllib2
request = urllib2.Request(uri)
request.add_header('User-Agent', 'fake-client')
response = urllib2.urlopen(request)
對(duì)有些 header 要特別留意，服務(wù)器會(huì)針對(duì)這些 header 做檢查
User-Agent : 有些服務(wù)器或 Proxy 會(huì)通過(guò)該值來(lái)判斷是否是瀏覽器發(fā)出的請(qǐng)求
Content-Type : 在使用 REST 接口時(shí)，服務(wù)器會(huì)檢查該值，用來(lái)確定 HTTP Body 中的內(nèi)容該怎樣解析。常見(jiàn)的取值有：
application/xml ： 在 XML RPC，如 RESTful/SOAP 調(diào)用時(shí)使用
application/json ： 在 JSON RPC 調(diào)用時(shí)使用
application/x-www-form-urlencoded ： 瀏覽器提交 Web 表單時(shí)使用
在使用服務(wù)器提供的 RESTful 或 SOAP 服務(wù)時(shí)， Content-Type 設(shè)置錯(cuò)誤會(huì)導(dǎo)致服務(wù)器拒絕服務(wù)
Redirect
urllib2 默認(rèn)情況下會(huì)針對(duì) HTTP 3XX 返回碼自動(dòng)進(jìn)行 redirect 動(dòng)作，無(wú)需人工配置。要檢測(cè)是否發(fā)生了 redirect 動(dòng)作，只要檢查一下 Response 的 URL 和 Request 的 URL 是否一致就可以了。
import urllib2
response = urllib2.urlopen('http://www.google.cn')
redirected = response.geturl() == 'http://www.google.cn'
如果不想自動(dòng) redirect，除了使用更低層次的 httplib 庫(kù)之外，還可以自定義 HTTPRedirectHandler 類(lèi)。
import urllib2
class RedirectHandler(urllib2.HTTPRedirectHandler):
def http_error_301(self, req, fp, code, msg, headers):
pass
def http_error_302(self, req, fp, code, msg, headers):
pass
opener = urllib2.build_opener(RedirectHandler)
opener.open('http://www.google.cn')
Cookie
urllib2 對(duì) Cookie 的處理也是自動(dòng)的。如果需要得到某個(gè) Cookie 項(xiàng)的值，可以這么做：
import urllib2
import cookielib
cookie = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
response = opener.open('http://www.google.com')
for item in cookie:
if item.name == 'some_cookie_item_name':
print item.value
使用 HTTP 的 PUT 和 DELETE 方法
urllib2 只支持 HTTP 的 GET 和 POST 方法，如果要使用 HTTP PUT 和 DELETE ，只能使用比較低層的 httplib 庫(kù)。雖然如此，我們還是能通過(guò)下面的方式，使 urllib2 能夠發(fā)出 PUT 或 DELETE 的請(qǐng)求：
import urllib2
request = urllib2.Request(uri, data=data)
request.get_method = lambda: 'PUT' # or 'DELETE'
response = urllib2.urlopen(request)
這種做法雖然屬于 Hack 的方式，但實(shí)際使用起來(lái)也沒(méi)什么問(wèn)題。
得到 HTTP 的返回碼
對(duì)于 200 OK 來(lái)說(shuō)，只要使用 urlopen 返回的 response 對(duì)象的 getcode() 方法就可以得到 HTTP 的返回碼。但對(duì)其它返回碼來(lái)說(shuō)，urlopen 會(huì)拋出異常。這時(shí)候，就要檢查異常對(duì)象的 code 屬性了：
import urllib2
try:
response = urllib2.urlopen('http://restrict.web.com')
except urllib2.HTTPError, e:
print e.code
Debug Log
使用 urllib2 時(shí)，可以通過(guò)下面的方法把 debug Log 打開(kāi)，這樣收發(fā)包的內(nèi)容就會(huì)在屏幕上打印出來(lái)，方便調(diào)試，有時(shí)可以省去抓包的工作
import urllib2
httpHandler = urllib2.HTTPHandler(debuglevel=1)
httpsHandler = urllib2.HTTPSHandler(debuglevel=1)
opener = urllib2.build_opener(httpHandler, httpsHandler)
urllib2.install_opener(opener)
response = urllib2.urlopen('http://www.google.com')
- python通過(guò)post提交數(shù)據(jù)的方法
- Python的Bottle框架中實(shí)現(xiàn)最基本的get和post的方法的教程
- python使用post提交數(shù)據(jù)到遠(yuǎn)程url的方法
- Python模仿POST提交HTTP數(shù)據(jù)及使用Cookie值的方法
- python client使用http post 到server端的代碼
- Python使用Socket(Https)Post登錄百度的實(shí)現(xiàn)代碼
- Python urllib、urllib2、httplib抓取網(wǎng)頁(yè)代碼實(shí)例
- python使用urllib2實(shí)現(xiàn)發(fā)送帶cookie的請(qǐng)求
- Python中urllib2模塊的8個(gè)使用細(xì)節(jié)分享
- python使用urllib2提交http post請(qǐng)求的方法
相關(guān)文章
Python 通過(guò)微信控制實(shí)現(xiàn)app定位發(fā)送到個(gè)人服務(wù)器再轉(zhuǎn)發(fā)微信服務(wù)器接收位置信息
這篇文章主要介紹了Python 通過(guò)微信控制實(shí)現(xiàn)app定位發(fā)送到個(gè)人服務(wù)器，再轉(zhuǎn)發(fā)微信服務(wù)器接收位置信息,本文給出了實(shí)例代碼，代碼簡(jiǎn)單易懂，非常不錯(cuò)具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2019-08-08
Python實(shí)戰(zhàn)使用XPath采集數(shù)據(jù)示例解析
這篇文章主要為大家介紹了Python實(shí)戰(zhàn)之使用XPath采集數(shù)據(jù)實(shí)現(xiàn)示例解析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪<BR>2023-04-04
解析python調(diào)用函數(shù)加括號(hào)和不加括號(hào)的區(qū)別
這篇文章主要介紹了python調(diào)用函數(shù)加括號(hào)和不加括號(hào)的區(qū)別,不帶括號(hào)時(shí)，調(diào)用的是這個(gè)函數(shù)本身 ，是整個(gè)函數(shù)體，是一個(gè)函數(shù)對(duì)象，不須等該函數(shù)執(zhí)行完成，具體實(shí)例代碼跟隨小編一起看看吧2021-10-10
django 通過(guò)URL訪(fǎng)問(wèn)上傳的文件方法
今天小編就為大家分享一篇django 通過(guò)URL訪(fǎng)問(wèn)上傳的文件方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-07-07
這篇文章主要介紹了Python selenium一定要會(huì)用selenium的等待，三種等待方式解讀的相關(guān)資料,需要的朋友可以參考下2016-09-09
mac下pycharm設(shè)置python版本的圖文教程
今天小編就為大家分享一篇mac下pycharm設(shè)置python版本的圖文教程，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-06-06
使用python3 實(shí)現(xiàn)插入數(shù)據(jù)到mysql
今天小編就為大家分享一篇使用python3 實(shí)現(xiàn)插入數(shù)據(jù)到mysql，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-03-03
Python實(shí)現(xiàn)控制手機(jī)電腦拍照并自動(dòng)發(fā)送郵箱
這篇文章主要介紹了如何實(shí)現(xiàn)利用Python控制手機(jī)電腦拍照并自動(dòng)發(fā)送郵箱，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以跟隨小編一起動(dòng)手試一試2022-02-02
今天小編就為大家分享一篇python求絕對(duì)值的三種方法小結(jié)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-12-12
Python實(shí)現(xiàn)像awk一樣分割字符串
這篇文章主要介紹了Python實(shí)現(xiàn)像awk一樣分割字符串,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-09-09