最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

python網(wǎng)絡(luò)爬蟲之模擬登錄 自動(dòng)獲取cookie值 驗(yàn)證碼識(shí)別的具體實(shí)現(xiàn)

 更新時(shí)間:2021年09月27日 09:22:56   作者:小狐貍夢(mèng)想去童話鎮(zhèn)  
有時(shí),我們需要爬取一些基于個(gè)人用戶的用戶信息(需要登陸后才可以查看)就要進(jìn)行模擬登陸,因?yàn)轵?yàn)證碼往往是作為登陸請(qǐng)求中的請(qǐng)求參數(shù)被使用,就需要識(shí)別驗(yàn)證碼

1、爬取網(wǎng)頁分析

爬取的目標(biāo)網(wǎng)址為:https://www.gushiwen.cn/
在登陸界面需要做的工作有,獲取驗(yàn)證碼圖片,并識(shí)別該驗(yàn)證碼,才能實(shí)現(xiàn)登錄。

在這里插入圖片描述

使用瀏覽器抓包工具可以看到,登陸界面請(qǐng)求頭包括cookie和user-agent,故在發(fā)送請(qǐng)求時(shí)需要這兩個(gè)數(shù)據(jù)。其中user-agent可通過手動(dòng)添加到請(qǐng)求頭中,而cookie值需要自動(dòng)獲取。

在這里插入圖片描述

分析完畢,實(shí)踐開始?。。?/p>

2、驗(yàn)證碼識(shí)別

(1)基于線上打碼平臺(tái)識(shí)別驗(yàn)證碼
(2)打碼平臺(tái):超級(jí)鷹、云打碼、打碼兔
該項(xiàng)目使用超級(jí)鷹打碼平臺(tái)完成。網(wǎng)站鏈接:https://www.chaojiying.com/

在這里插入圖片描述

將下載好的源碼進(jìn)行封裝

在這里插入圖片描述

3、cookie自動(dòng)獲取

import requests

headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36",
        #手動(dòng)處理cookie
        # "Cookie": "acw_tc=2760820816186635434807019e3f39e1bf4a8a9b9ad20b50586fb6c8184f56; xq_a_token=520e7bca78673752ed71e19b8820b5eb854123af; xqat=520e7bca78673752ed71e19b8820b5eb854123af; xq_r_token=598dda88240ff69f663261a3bf4ca3d9f9700cc0; xq_id_token=eyJ0eXAiOiJKV1QiLCJhbGciOiJSUzI1NiJ9.eyJ1aWQiOi0xLCJpc3MiOiJ1YyIsImV4cCI6MTYyMTIxOTc0OSwiY3RtIjoxNjE4NjYzNTE1MDI1LCJjaWQiOiJkOWQwbjRBWnVwIn0.BGdEgnctB-rv0Xiu8TxrBEshPF4w0StKOE5jKTxy8OFz_pLwNl5VK9v2e8jyU4jaQt9xZTvgsPiYYbiIgmUUpPkamuT0pITHOFoNoKFYFz0syxQMuuAa93pPvSJxeCutqod4cvdWt6f4iRjtHyjAY0zVrv3xLi2ksc9noSf9sH3eLVu9Yjr3PzbF1QDzbXyQsX7oS5Y5Iwt2p-XartCGMlKWzWz9TPiFc3oZ6o7CMWu7Tvfb5D2XGlIU6L8wlPBMwoz2Zdy_zQif9itUqoBvQjNIa3E6UYag-vlY7nNFSDJh0UCobapBjdNITBVVvwFtYn6C-R16y6O8S5iko4E59g; u=461618663543485; Hm_lvt_1db88642e346389874251b5a1eded6e3=1618663545; device_id=24700f9f1986800ab4fcc880530dd0ed; Hm_lpvt_1db88642e346389874251b5a1eded6e3=1618664825"
    }
session = requests.Session() # 創(chuàng)建session對(duì)象
# 第一次使用session,捕獲請(qǐng)求cookie
url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx'
page_text = session.get(url = url,headers = headers).text
# 解析驗(yàn)證碼圖片地址
tree = etree.HTML(page_text)
img_src = 'https://so.gushiwen.cn/' + tree.xpath('//*[@id="imgCode"]/@src')[0]
# 將驗(yàn)證碼圖片保存到本地
img_data = session.get(img_src,headers = headers).content
with open('./code.jpg','wb') as fp:
    fp.write(img_data)

4、程序源代碼

chaojiying.py

#!/usr/bin/env python
# coding:utf-8

import requests
from hashlib import md5

class Chaojiying_Client(object):

    def __init__(self, username, password, soft_id):
        self.username = username
        password =  password.encode('utf8')
        self.password = md5(password).hexdigest()
        self.soft_id = soft_id
        self.base_params = {
            'user': self.username,
            'pass2': self.password,
            'softid': self.soft_id,
        }
        self.headers = {
            'Connection': 'Keep-Alive',
            'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)',
        }

    def PostPic(self, im, codetype):
        """
        im: 圖片字節(jié)
        codetype: 題目類型 參考 http://www.chaojiying.com/price.html
        """
        params = {
            'codetype': codetype,
        }
        params.update(self.base_params)
        files = {'userfile': ('ccc.jpg', im)}
        r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, files=files, headers=self.headers)
        return r.json()

    def ReportError(self, im_id):
        """
        im_id:報(bào)錯(cuò)題目的圖片ID
        """
        params = {
            'id': im_id,
        }
        params.update(self.base_params)
        r = requests.post('http://upload.chaojiying.net/Upload/ReportError.php', data=params, headers=self.headers)
        return r.json()


if __name__ == '__main__':
    chaojiying = Chaojiying_Client('超級(jí)鷹用戶名', '超級(jí)鷹用戶名的密碼', '96001')	#用戶中心>>軟件ID 生成一個(gè)替換 96001
    im = open('a.jpg', 'rb').read()													#本地圖片文件路徑 來替換 a.jpg 有時(shí)WIN系統(tǒng)須要//
    print(chaojiying.PostPic(im, 1902))												#1902 驗(yàn)證碼類型  官方網(wǎng)站>>價(jià)格體系 3.4+版 print 后要加()

sign in.py

# 模擬登錄
# 流程:1 對(duì)點(diǎn)擊登錄按鈕對(duì)應(yīng)的請(qǐng)求進(jìn)行發(fā)送(post請(qǐng)求)
#      2 處理請(qǐng)求參數(shù):
#        用戶名 密碼 驗(yàn)證碼 其他防偽參數(shù)
import requests
from lxml import etree
from chaojiying_Python.chaojiying import Chaojiying_Client

headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36",
}
# 封裝好的驗(yàn)證碼識(shí)別函數(shù)
def tranformImgCode(imgPath,imgType):
    chaojiying = Chaojiying_Client('用戶名', '密碼', '軟件ID')	        # 用戶中心>>軟件ID 生成一個(gè)替換 軟件ID
    im = open(imgPath, 'rb').read()													#本地圖片文件路徑 來替換 a.jpg 有時(shí)WIN系統(tǒng)須要//
    return(chaojiying.PostPic(im, imgType))['pic_str']

# 自動(dòng)獲取cookie
session = requests.Session()

# 識(shí)別驗(yàn)證碼
url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx'
page_text = session.get(url = url,headers = headers).text
# 解析驗(yàn)證碼圖片地址
tree = etree.HTML(page_text)
img_src = 'https://so.gushiwen.cn/' + tree.xpath('//*[@id="imgCode"]/@src')[0]
# 將驗(yàn)證碼圖片保存到本地
img_data = session.get(img_src,headers = headers).content
with open('./code.jpg','wb') as fp:
    fp.write(img_data)

# 識(shí)別驗(yàn)證碼
code_text = tranformImgCode('./code.jpg',1902)
print(code_text)

login_url = 'https://so.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx'
data = {
    '__VIEWSTATE': 'frn5Bnnr5HRYCoJJ9fIlFFjsta310405ClDr+hy0/V9dyMGgBf34A2YjI8iCAaXHZarltdz1LPU8hGWIAUP9y5eLjxKeYaJxouGAa4YcCPC+qLQstMsdpWvKGjg=',
    '__VIEWSTATEGENERATOR': 'C93BE1AE',
    'from': 'http://so.gushiwen.cn/user/collect.aspx',
    'email': '用戶名', # 更換自己的用戶名
    'pwd': '密碼',     # 更換自己的密碼
    'code': code_text,
    'denglu': '登錄'
}
# 對(duì)點(diǎn)擊登錄按鈕發(fā)起請(qǐng)求,獲取登錄成功后對(duì)應(yīng)的頁面源碼數(shù)據(jù)
page_text_login = session.post(url = login_url,data = data,headers = headers).text

with open('./gushiwen.html','w',encoding = 'utf-8') as fp:
    fp.write(page_text_login)

覺得不錯(cuò)的話,就點(diǎn)個(gè)贊吧??!😀😀

到此這篇關(guān)于python網(wǎng)絡(luò)爬蟲之模擬登錄 自動(dòng)獲取cookie值 驗(yàn)證碼識(shí)別的具體實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)python 模擬登錄 內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • 淺談基于Pytest框架的自動(dòng)化測(cè)試開發(fā)實(shí)踐

    淺談基于Pytest框架的自動(dòng)化測(cè)試開發(fā)實(shí)踐

    Pytest是Python的一種易用、高效和靈活的單元測(cè)試框架,本文主要介紹了基于Pytest框架的自動(dòng)化測(cè)試開發(fā)實(shí)踐,文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2021-12-12
  • pandas.DataFrame選取/排除特定行的方法

    pandas.DataFrame選取/排除特定行的方法

    今天小編就為大家分享一篇pandas.DataFrame選取/排除特定行的方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
    2018-07-07
  • Python Excel實(shí)現(xiàn)自動(dòng)添加編號(hào)

    Python Excel實(shí)現(xiàn)自動(dòng)添加編號(hào)

    這篇文章主要為大家詳細(xì)介紹了如何使用Python在Excel中實(shí)現(xiàn)自動(dòng)添加編號(hào)效果,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下
    2025-03-03
  • Python數(shù)據(jù)可視化常用4大繪圖庫原理詳解

    Python數(shù)據(jù)可視化常用4大繪圖庫原理詳解

    這篇文章主要介紹了Python數(shù)據(jù)可視化常用4大繪圖庫原理詳解,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2020-10-10
  • python實(shí)現(xiàn)公司年會(huì)抽獎(jiǎng)程序

    python實(shí)現(xiàn)公司年會(huì)抽獎(jiǎng)程序

    這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)公司年會(huì)抽獎(jiǎng)程序,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2019-01-01
  • Python實(shí)現(xiàn)繪制多種激活函數(shù)曲線詳解

    Python實(shí)現(xiàn)繪制多種激活函數(shù)曲線詳解

    所謂激活函數(shù)(Activation?Function),就是在人工神經(jīng)網(wǎng)絡(luò)的神經(jīng)元上運(yùn)行的函數(shù),負(fù)責(zé)將神經(jīng)元的輸入映射到輸出端。這篇文章主要介紹了Python如何實(shí)現(xiàn)繪制多種激活函數(shù)曲線,希望對(duì)大家有所幫助
    2023-04-04
  • 淺談python 中類屬性共享的問題

    淺談python 中類屬性共享的問題

    今天小編就為大家分享一篇淺談python 中類屬性共享的問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
    2019-07-07
  • python實(shí)現(xiàn)堆和索引堆的代碼示例

    python實(shí)現(xiàn)堆和索引堆的代碼示例

    本篇文章主要介紹了python實(shí)現(xiàn)堆和索引堆的代碼示例,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧
    2018-03-03
  • python 文件操作刪除某行的實(shí)例

    python 文件操作刪除某行的實(shí)例

    下面小編就為大家?guī)硪黄猵ython 文件操作刪除某行的實(shí)例。小編覺得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧
    2017-09-09
  • python中input()與raw_input()的區(qū)別分析

    python中input()與raw_input()的區(qū)別分析

    這篇文章主要介紹了python中input()與raw_input()的區(qū)別,需要的朋友可以參考下
    2016-02-02

最新評(píng)論

扬中市| 油尖旺区| 锡林浩特市| 石门县| 乌拉特后旗| 新津县| 丹凤县| 宁城县| 新泰市| 于田县| 宣武区| 定襄县| 阿拉善盟| 大连市| 文水县| 文化| 海晏县| 基隆市| 高雄市| 沁源县| 历史| 泸州市| 孟州市| 海林市| 呼伦贝尔市| 礼泉县| 会昌县| 富锦市| 陆川县| 兴安盟| 嵩明县| 浦东新区| 中宁县| 龙海市| 乐东| 邹平县| 武功县| 新巴尔虎左旗| 伽师县| 松潘县| 清河县|