快捷導(dǎo)航

Python的requests網(wǎng)絡(luò)編程包使用教程

更新時(shí)間：2016年07月11日 16:29:28 作者：Kevin_Yang

requests包為Python擴(kuò)展了各種基于HTTP的網(wǎng)絡(luò)數(shù)據(jù)操作功能,包括各種請(qǐng)求與session和cookie等的追加,very強(qiáng)大,下面我們就來(lái)看一下Python的requests網(wǎng)絡(luò)編程包使用教程

早就聽(tīng)說(shuō)requests的庫(kù)的強(qiáng)大，只是還沒(méi)有接觸，今天接觸了一下，發(fā)現(xiàn)以前使用urllib，urllib2等方法真是太搓了……
這里寫(xiě)些簡(jiǎn)單的使用初步作為一個(gè)記錄

一、下載

官方項(xiàng)目頁(yè)： https://pypi.python.org/pypi/requests/#downloads
可以從上面直接下載。

二、發(fā)送無(wú)參數(shù)的get請(qǐng)求

>>> r = requests.get('http://httpbin.org/get')
>>> print r.text
{
 "args": {}, 
 "headers": {
  "Accept": "*/*", 
  "Accept-Encoding": "gzip, deflate", 
  "Connection": "close", 
  "Host": "httpbin.org", 
  "User-Agent": "python-requests/2.3.0 CPython/2.6.6 Windows/7", 
  "X-Request-Id": "8a28bbea-55cd-460b-bda3-f3427d66b700"
 }, 
 "origin": "124.192.129.84", 
 "url": "http://httpbin.org/get"
}

三、發(fā)送帶參數(shù)的get請(qǐng)求,將key與value放入一個(gè)字典中，通過(guò)params參數(shù)來(lái)傳遞,其作用相當(dāng)于urllib.urlencode

 >>> import requests
>>> pqyload = {'q':'楊彥星'}
>>> r = requests.get('http://www.so.com/s',params = pqyload)
>>> r.url
u'http://www.so.com/s?q=%E6%9D%A8%E5%BD%A6%E6%98%9F'

四、發(fā)送post請(qǐng)求，通過(guò)data參數(shù)來(lái)傳遞,

 >>> payload = {'a':'楊','b':'hello'}
>>> r = requests.post("http://httpbin.org/post", data=payload)
>>> print r.text
{
 "args": {}, 
 "data": "", 
 "files": {}, 
 "form": {
  "a": "\u6768", 
  "b": "hello"
 }, 
 "headers": {
  "Accept": "*/*", 
  "Accept-Encoding": "gzip, deflate", 
  "Connection": "close", 
  "Content-Length": "19", 
  "Content-Type": "application/x-www-form-urlencoded", 
  "Host": "httpbin.org", 
  "User-Agent": "python-requests/2.3.0 CPython/2.6.6 Windows/7", 
  "X-Request-Id": "c81cb937-04b8-4a2d-ba32-04b5c0b3ba98"
 }, 
 "json": null, 
 "origin": "124.192.129.84", 
 "url": "http://httpbin.org/post"
}
>>>

可以看到，post參數(shù)已經(jīng)傳到了form里,data不光可以接受字典類(lèi)型的數(shù)據(jù)，還可以接受json等格式

>>> payload = {'a':'楊','b':'hello'}
>>> import json
>>> r = requests.post('http://httpbin.org/post', data=json.dumps(payload))

五、發(fā)送文件的post類(lèi)型，這個(gè)相當(dāng)于向網(wǎng)站上傳一張圖片，文檔等操作，這時(shí)要使用files參數(shù)

>>> url = 'http://httpbin.org/post'
>>> files = {'file': open('touxiang.png', 'rb')}
>>> r = requests.post(url, files=files)

定制headers，使用headers參數(shù)來(lái)傳遞

>>> import json
>>> url = 'https://api.github.com/some/endpoint'
>>> payload = {'some': 'data'}
>>> headers = {'content-type': 'application/json'}
>>> r = requests.post(url, data=json.dumps(payload), headers=headers)

六、響應(yīng)內(nèi)容
響應(yīng)狀態(tài)碼：

r = requests.get('http://httpbin.org/get')
print r.status_code

響應(yīng)頭：

>>> print r.headers
{'content-length': '519', 'server': 'gunicorn/18.0', 'connection': 'keep-alive', 'date': 'Sun, 15 Jun 2014 14:19:52 GMT', 'access-control-allow-origin': '*', 'content-type': 'application/json'}

也可以取到這個(gè)個(gè)別的響應(yīng)頭用來(lái)做一些判斷，這里的參數(shù)是不區(qū)分大小寫(xiě)的

r.headers[‘Content-Type']
r.headers.get(‘Content-Type')

響應(yīng)內(nèi)容，前面已經(jīng)在應(yīng)用了：

r.text
r.content

七、獲取響應(yīng)中的cookies

>>> r = requests.get('http://www.baidu.com')
>>> r.cookies['BAIDUID']
'D5810267346AEFB0F25CB0D6D0E043E6:FG=1'

也可以自已定義請(qǐng)求的COOKIES

>>> url = 'http://httpbin.org/cookies'
>>> cookies = {'cookies_are':'working'}
>>> r = requests.get(url,cookies = cookies)
>>> 
>>> print r.text
{
 "cookies": {
  "cookies_are": "working"
 }
}
>>>

cookies還有很多，因?yàn)槟壳拔乙策€不是很多，以后再擴(kuò)充吧

八、使用timeout參數(shù)設(shè)置超時(shí)時(shí)間

>>> requests.get('http://github.com', timeout=1) 
<Response [200]>

如果將時(shí)間設(shè)置成非常小的數(shù)，如

requests.get('http://github.com', timeout=0.001)

，那么如果在timeout的時(shí)間內(nèi)沒(méi)有連接，那么將會(huì)拋出一個(gè)Timeout的異常

九、訪問(wèn)中使用session
先初始化一個(gè)session對(duì)象，

s = requests.Session()

然后使用這個(gè)session對(duì)象來(lái)進(jìn)行訪問(wèn)，r = s.post(url,data = user)
以下通過(guò)訪問(wèn)人人網(wǎng)來(lái)獲取首頁(yè)中的最近來(lái)訪問(wèn)，然后再訪問(wèn)查看更多的來(lái)訪來(lái)讀取更多的最近來(lái)訪
更多的來(lái)訪就是以帶session的訪問(wèn)http://www.renren.com/myfoot.do

 #coding:utf-8
import requests
import re
url = r'http://www.renren.com/ajaxLogin'
user = {'email':'email','password':'pass'}
s = requests.Session()
r = s.post(url,data = user)
html = r.text
visit = []
first = re.compile(r'</span><span class="time-tip first-tip"><span class="tip-content">(.*?)</span>')
second = re.compile(r'</span><span class="time-tip"><span class="tip-content">(.*?)</span>')
third = re.compile(r'</span><span class="time-tip last-second-tip"><span class="tip-content">(.*?)</span>')
last = re.compile(r'</span><span class="time-tip last-tip"><span class="tip-content">(.*?)</span>')
visit.extend(first.findall(html))
visit.extend(second.findall(html))
visit.extend(third.findall(html))
visit.extend(last.findall(html))
for i in visit:
  print i
print '以下是更多的最近來(lái)訪'
vm = s.get('http://www.renren.com/myfoot.do')
fm = re.compile(r'"name":"(.*?)"')
visitmore = fm.findall(vm.text)
for i in visitmore:
  print i

2016711162503928.png (448×539)

十、requests-cookies
Cookies就像字典一樣儲(chǔ)存了各個(gè)項(xiàng)的值并保存起來(lái), 例如我們的用戶(hù)名, 密碼, 登錄信息等都可以保存起來(lái). 當(dāng)網(wǎng)頁(yè)再次被加載時(shí)可以從cookies中找到相關(guān)的信息并從而免除再次輸入賦值的過(guò)程.
在requests中使用get等請(qǐng)求時(shí)同樣可以賦予cookies信息. 例如我們從瀏覽器中獲取某次網(wǎng)頁(yè)加載時(shí)請(qǐng)求的cookies, 可以同樣賦予requests再次使用.
requests請(qǐng)求時(shí)加入cookies={key:value}參數(shù)即可傳遞cookies.

import requests
url = 'http://httpbin.org/cookies'
cookies = dict(cookies_are='working')

r = requests.get(url, cookies=cookies)
r.text
#'{"cookies": {"cookies_are": "working"}}'

查詢(xún)某次請(qǐng)求的cookies很簡(jiǎn)單, 就像獲得headers一樣使用cookies屬性即可:

url = 'http://example.com/some/cookie/setting/url'
r = requests.get(url)

r.cookies['example_cookie_name']
# 'example_cookie_value'

以下函數(shù)可以分解瀏覽器獲得的cookies字符串到一個(gè)字典,從而幫助我們模擬requests請(qǐng)求.

def browsercookiesdict(s):
 '''Covert cookies string from browser to a dict'''
 ss=s.split(';')
 outdict={}
 for item in ss:
 i1=item.split('=',1)[0].strip()
 i2=item.split('=',1)[1].strip()
 outdict[i1]=i2
 return outdict

您可能感興趣的文章: