python模擬登陸網(wǎng)站的示例

更新時(shí)間：2021年03月15日 15:59:07 作者：可愛的黑精靈

這篇文章主要介紹了python模擬登陸網(wǎng)站的示例，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下

使用已有cookie登陸

使用瀏覽器登陸，獲取瀏覽器中的cookie信息，來進(jìn)行登陸。

我們以博客園為例，先登錄博客園賬號(hào)。我們?cè)L問隨筆列表，在控制臺(tái)我們可以看到我們登陸后瀏覽器的cookie

剔除一些數(shù)據(jù)統(tǒng)計(jì)及分析的cookie，剩下的就是登陸可能需要的.CNBlogsCookie和.Cnblogs.AspNetCore.Cookies

# _ga google分析 cookie
# UM_distinctid 友盟cookie
# CNZZxxx CNZZcookie
# __utma,__utmc,__utmz google統(tǒng)計(jì)網(wǎng)站
# Hm_lvt_xxx 百度統(tǒng)計(jì)網(wǎng)站

import urllib.request

url = 'https://i.cnblogs.com/posts'

user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'

#瀏覽器登錄后得到的cookie，也就是剛才復(fù)制的字符串
cookie_str = '.CNBlogsCookie=xxx; .Cnblogs.AspNetCore.Cookies=xxx'

headers = {
 'User-Agent': user_agent,
 'cookie':cookie_str
}

req = urllib.request.Request(url,headers=headers)
resp = urllib.request.urlopen(req).read().decode('utf-8')

print(resp)

登陸獲取cookie

登陸的表單一般是使用的form data，現(xiàn)在也有些表單使用request payload使用json格式傳參。

form data如藥智網(wǎng)

request payload如博客園

form data

博客園的登陸需要拖動(dòng)驗(yàn)證所以略過。我們以藥智網(wǎng)為例，我們打開控制臺(tái)可以看到登陸需要傳的表單參數(shù)，這里是使用的form data表單。我們模擬登陸后獲取到登陸后的cookie，然后訪問登錄后的個(gè)人中心頁面。

import urllib.request
import http.cookiejar

url = 'https://www.yaozh.com/login'

user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'

# formData數(shù)據(jù)
data = {'username': '用戶名',
  'pwd': '密碼',
  'formhash': 'C3086BBA84',
  'backurl': 'https%3A%2F%2Fwww.yaozh.com%2F'}

post_data = urllib.parse.urlencode(data).encode('utf-8')

# 請(qǐng)求頭設(shè)置
headers = {
 'User-Agent': user_agent
}

# 構(gòu)造登陸請(qǐng)求
req = urllib.request.Request(url, headers=headers, data=post_data)

# cookie
cookie = http.cookiejar.CookieJar()

# 構(gòu)造一個(gè)opener攜帶登錄后的cookie
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie))

# 發(fā)送登陸請(qǐng)求
resp = opener.open(req)

print(resp)

# 登錄后個(gè)人中心
url = 'https://www.yaozh.com/member/'

# 構(gòu)造訪問請(qǐng)求
req = urllib.request.Request(url, headers=headers)

resp = opener.open(req).read().decode('utf-8')

print(resp)

request payload

如果登陸需要request payload我們需要將參數(shù)轉(zhuǎn)為json字符串并在頭部設(shè)置Content-Type

import json
...

data = {'loginType': '1',
  'pwdOrVerifyCode': '密碼',
  'userIdentification': '賬號(hào)',
  'uaToken': '',
  'webUmidToken':''}

headers = {
 'Content-Type': 'application/json;charset=UTF-8',
 'User-Agent': user_agent
}


req = urllib.request.Request(url, headers=headers, data=json.dumps(data))
...

登陸后用session保持登陸狀態(tài)

我們用requests模塊的Session對(duì)象來保存回話信息

import requests

url = 'https://www.yaozh.com/login'

user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'

# formData數(shù)據(jù)
data = {'username': 'chenjy1225',
  'pwd': '19931225yjy',
  'formhash': 'C3086BBA84',
  'backurl': 'https%3A%2F%2Fwww.yaozh.com%2F'}


#構(gòu)造Session
session = requests.Session()

# 發(fā)送post請(qǐng)求
resp = session.post(url, data)

# 登錄后個(gè)人中心
url = 'https://www.yaozh.com/member/'

# 發(fā)送請(qǐng)求訪問個(gè)人中心
resp = session.get(url).content.decode('utf-8')

print(resp)

調(diào)用瀏覽器登陸

我們也可以在程序中調(diào)用一個(gè)瀏覽器來訪問登陸網(wǎng)站。在python中使用Selenium庫(kù)就能輕松實(shí)現(xiàn)調(diào)用瀏覽器，被控制的瀏覽器可以是chrome、firefox等。
以前較常用的還是PhantomJS但是PhantomJS被python棄用了。

UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox instead
warnings.warn('Selenium support for PhantomJS has been deprecated, please use headless '

firefox對(duì)應(yīng)的geckodriver

chrome對(duì)應(yīng)的chrnpm.taobao.org/mirrors/chromedriveromedriver

1.下載Selenium、firefox瀏覽器及firefox驅(qū)動(dòng)。

2.將下載的firefox驅(qū)動(dòng)geckodriver放在firefox瀏覽器安裝目錄

3.將firefox瀏覽器安裝目錄添加到path中

4.重啟ide

我們找到需要登陸時(shí)候輸入的元素id及登陸button id。

from selenium import webdriver
import time

# 新建selenium瀏覽器對(duì)象，后面是geckodriver.exe下載后本地路徑
browser = webdriver.Firefox()

url = 'https://www.yaozh.com/login'

# 瀏覽器訪問登錄頁面
browser.get(url)

# 等待3s用于加載腳本文件
browser.implicitly_wait(3)

# 輸入用戶名
username = browser.find_element_by_id('username')
username.send_keys('chenjy1225')

# 輸入密碼
password = browser.find_element_by_id('pwd')
password.send_keys('19931225yjy')

# 點(diǎn)擊登錄按鈕
login_button = browser.find_element_by_id('button')
login_button.submit()

# 網(wǎng)頁截圖
browser.save_screenshot('screenshot.png')

# 強(qiáng)制等待5s，等待登錄后的跳轉(zhuǎn)
time.sleep(5)

url = 'https://www.yaozh.com/member/'

browser.get(url)

# 網(wǎng)頁截圖個(gè)人中心
browser.save_screenshot('screenshot1.png')

# 關(guān)閉瀏覽器
browser.quit()

screenshot.png：