python爬蟲模擬登錄人人網(wǎng)過程解析

更新時間：2019年07月31日 09:47:50 作者：Tanglaoer

這篇文章主要介紹了python爬蟲模擬登錄人人網(wǎng)過程解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下

requests 提供了一個叫做session類，來實現(xiàn)客戶端和服務(wù)端的會話保持

使用方法

1.實例化一個session對象

2.讓session發(fā)送get或者post請求

session = requests.session()
session.get(url,headers)

下面就用人人網(wǎng)來實戰(zhàn)一下

# coding=utf-8
import requests
session = requests.session()
# 登錄的表單url
post_url = "http://www.renren.com/PLogin.do"
post_data = {"email": "your_email", "password": "your_password"}
headers = {
  "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36"
}
# 使用session發(fā)送post請求，cookie保存在其中
session.post(post_url, data=post_data, headers=headers)
# 在使用session進行請求登陸之后才能訪問的地址
# 這是個人首頁url
r = session.get("http://www.renren.com/327550088/profile", headers=headers)
# 保存頁面到本地
with open("renren1.html", "w", encoding="utf-8") as f:
  f.write(r.content.decode('utf-8'))

就這么簡單，模擬登錄上人人網(wǎng)并且獲取了個人首頁信息頁面保存到本地。

其實網(wǎng)站記錄登錄狀態(tài)就是通過cookie里面攜帶的信息，如果我們發(fā)送請求的時候帶上登錄的cookie能不能夠訪問到只有登錄才能訪問的頁面，當(dāng)然是可以的

請看代碼

# coding=utf-8
import requests
headers = {
  "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36",
  "Cookie":"你的登錄cookie"
}
r = requests.get("http://www.renren.com/327550088/profile",headers=headers)
#保存頁面
with open("renren2.html","w",encoding="utf-8") as f:
  f.write(r.content.decode())

可以看到， Cookie 可以放在 headers 中，其實 requests 中也有一個參數(shù)用來傳遞cookie，這個參數(shù)就是 cookies

請看代碼

# 字典生成器的用法
cookies = {i.split("=")[0]:i.split("=")[1] for i in cookies.split("; ")}
print(cookies)
r = requests.get("http://www.renren.com/327550088/profile",headers=headers,cookies=cookies)

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章: