Python 通過爬蟲實現(xiàn)GitHub網(wǎng)頁的模擬登錄的示例代碼
1. 實例描述
通過爬蟲獲取網(wǎng)頁的信息時,有時需要登錄網(wǎng)頁后才可以獲取網(wǎng)頁中的可用數(shù)據(jù),例如獲取 GitHub 網(wǎng)頁中的注冊號碼時,就需要先登錄賬號才能在登錄后的頁面中看到該信息,如下圖所示。那么該如何實現(xiàn)模擬登錄的功能呢?本文實現(xiàn)將通過爬蟲實現(xiàn) GitHub 網(wǎng)頁的模擬登錄。

2. 代碼實現(xiàn)
在實現(xiàn) GitHub 網(wǎng)頁的模擬登錄時,首先需要查看提交登錄請求時都要哪些請求參數(shù),然后獲取登錄請求的所有參數(shù),再發(fā)送登錄請求。如果登錄成功的情況下獲取頁面中的注冊號碼信息即可。具體步驟如下:
(1) 點擊 此處 打開 GitHub 的登錄頁面,然后輸入賬號與密碼,如下圖所示。

(2) 用 F12 或者 鼠標右鍵單擊網(wǎng)頁選擇 檢查 打開瀏覽器的開發(fā)者工具,選擇獲取網(wǎng)絡(luò)請求過程,然后單擊登錄頁面中的 Sign in 按鈕,此時開發(fā)者工具中將顯示 GitHub 網(wǎng)頁的登錄請求過程,重點查找名稱為 session 的網(wǎng)絡(luò)請求。如下圖所示。

(3) 單擊名稱為 session 的網(wǎng)絡(luò)請求,然后在 Headers 請求信息中主要查看 Request Headers與 Form Data 中的各種信息,其中紅框內(nèi)為重要參數(shù)與數(shù)據(jù)。如下圖所示。

說明:Host 為主頁面地址,Referer 為當前請求的來源地址。User-Agent 為瀏覽器的頭部信息。Form Data 中的所有信息都是登錄請求的所用參數(shù),其中動態(tài)參數(shù)為重要參數(shù),authenticity_token 為加密字符串,login 為登錄的賬號,password 為密碼,其它參數(shù)為靜態(tài)參數(shù)。由于動態(tài)參數(shù)只有 authenticity_token、login 以及password ,而用戶名與密碼只需要將動態(tài)字符串填寫對應(yīng)的位置即可,所以接下來需要獲取 authenticity_token 參數(shù)所對應(yīng)的加密字符串。
(4) 在瀏覽器中退出所登錄的 GitHub 賬號,返回 GitHub 的登錄頁面,打開瀏覽器開發(fā)者工具,查看網(wǎng)頁的 html 代碼,然后在代碼中搜索 authenticity_token 關(guān)鍵詞,標簽內(nèi) value 所對應(yīng)的值為 authenticity_token 參數(shù)的加密字符串。如下圖所示。

(5) 實現(xiàn)爬蟲代碼,首先導入所需模塊,然后創(chuàng)建頭部信息,再通過 Session 會話對象發(fā)送網(wǎng)絡(luò)請求獲取 authenticity_token 信息,最后通過所有的登陸請求參數(shù)實現(xiàn) GitHub 網(wǎng)頁的登陸請求并提取注冊號碼。具體代碼如下:
# -*- coding: utf-8 -*-
# @Time : 2020/5/10 23:25
# @Author : 我就是任性-Amo
# @FileName: 77.通過爬蟲實現(xiàn)GitHub網(wǎng)頁的模擬登錄.py
# @Software: PyCharm
# @Blog :https://blog.csdn.net/xw1680
import requests # 導入網(wǎng)絡(luò)請求模塊
from lxml import etree # 導入數(shù)據(jù)解析模塊 都是第三方模塊需要安裝
# pip install requests/lxml如果太慢 可以加上鏡像服務(wù)器 或者在Pycharm中使用圖形化界面進行安裝
class GitHubLogin(object):
def __init__(self, username, password):
# 構(gòu)造頭部信息
self.headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) "
"AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36",
"Host": "github.com",
"Referer": "https://github.com/login"
}
self.login_url = "https://github.com/login" # 登錄頁面地址
self.post_url = "https://github.com/session" # 實現(xiàn)登錄的請求地址
self.session = requests.Session() # 創(chuàng)建Session會話對象
self.user_name = username # 用戶名
self.password = password # 密碼
# 獲取authenticity_token信息
def get_token(self):
# 發(fā)送登錄頁面的網(wǎng)絡(luò)請求
response = self.session.get(self.login_url, headers=self.headers)
if response.status_code == 200: # 判斷請求是否成功
html = etree.HTML(response.text) # 解析html
# 提取authenticity_token信息
token = html.xpath("http://div[@id='login']/form/input[1]/@value")[0]
# print(token) 測試是否能夠獲取到token
return token # 返回信息
# 實現(xiàn)登錄
def login(self):
# 請求參數(shù)
post_data = {
"commit": "Sign in",
"authenticity_token": self.get_token(),
"login": self.user_name,
"password": self.password,
"webauthn - support": "supported"
}
# 發(fā)送登錄請求
response = self.session.post(self.post_url, headers=self.headers, data=post_data)
if response.status_code == 200: # 判斷請求是否成功
html = etree.HTML(response.text) # 解析html
# 獲取注冊號碼
register_number = html.xpath("http://div[contains(@class,'Header-item')][last()]//strong")[0]
print(f"注冊號碼為: {register_number.text}")
else:
print("登錄失敗")
if __name__ == '__main__':
user_name = input("請輸入您的用戶名:") # 獲取輸入的用戶名
password = input("請輸入您的密碼:") # 獲取輸入的密碼
login = GitHubLogin(user_name, password) # 創(chuàng)建登錄類對象并傳遞輸入的用戶名與密碼
login.login()
執(zhí)行以上代碼,輸入用戶名與密碼,即可顯示獲取的注冊號碼。如下圖所示:

到此這篇關(guān)于Python 通過爬蟲實現(xiàn)GitHub網(wǎng)頁的模擬登錄的示例代碼的文章就介紹到這了,更多相關(guān)Python GitHub模擬登錄內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
- python爬取企查查企業(yè)信息之selenium自動模擬登錄企查查
- Python模擬登錄requests.Session應(yīng)用詳解
- Python3以GitHub為例來實現(xiàn)模擬登錄和爬取的實例講解
- Python+Selenium+phantomjs實現(xiàn)網(wǎng)頁模擬登錄和截圖功能(windows環(huán)境)
- Python模擬登錄之滑塊驗證碼的破解(實例代碼)
- python爬蟲 模擬登錄人人網(wǎng)過程解析
- python 利用瀏覽器 Cookie 模擬登錄的用戶訪問知乎的方法
- Python 制作自動化翻譯工具
- python實現(xiàn)百度文庫自動化爬取
- Python模擬登錄網(wǎng)易云音樂并自動簽到
相關(guān)文章
詳解如何為eclipse安裝合適版本的python插件pydev
這篇文章主要介紹了詳解如何為eclipse安裝合適版本的python插件pydev,pydev是一款優(yōu)秀的Eclipse插件,具有一定的參考價值,感興趣的小伙伴們可以參考一下2018-11-11
Linux 發(fā)郵件磁盤空間監(jiān)控(python)
這篇文章主要介紹了Linux發(fā)郵件磁盤空間監(jiān)控功能,python實現(xiàn),需要的朋友可以參考下2016-04-04
Pytorch中TensorBoard及torchsummary的使用詳解
這篇文章主要介紹了Pytorch中TensorBoard及torchsummary的使用詳解,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2021-05-05
基于Python實現(xiàn)的微信好友數(shù)據(jù)分析
這篇文章主要介紹了基于Python實現(xiàn)的微信好友數(shù)據(jù)分析的相關(guān)知識,非常不錯,具有參考借鑒價值,需要的朋友可以參考下2018-02-02

