Python反爬蟲偽裝瀏覽器進行爬蟲

更新時間：2020年02月28日 13:25:32 作者：Tynam.Yang

這篇文章主要介紹了Python反爬蟲偽裝瀏覽器進行爬蟲,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

對于爬蟲中部分網(wǎng)站設置了請求次數(shù)過多后會封殺ip，現(xiàn)在模擬瀏覽器進行爬蟲，也就是說讓服務器認識到訪問他的是真正的瀏覽器而不是機器操作

簡單的直接添加請求頭，將瀏覽器的信息在請求數(shù)據(jù)時傳入：

打開瀏覽器--打開開發(fā)者模式--請求任意網(wǎng)站

如下圖：找到請求的的名字，打開后查看headers欄，找到User-Agent，復制。然后添加到請求頭中

代碼如下：

import requests
url = 'https://www.baidu.com'
headers ={
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) '
           'Chrome/65.0.3325.181 Safari/537.36'
    }
rq = requests.get(url=url, headers=headers)
print(rq.text)

更深的偽裝瀏覽器，添加多個瀏覽器信息，每次請求的時候隨機發(fā)送瀏覽器信息，讓服務器了解不是一個瀏覽器一直在訪問，（可以百度查找user-agent）

代碼如下：

import requests
import random

url = 'https://www.baidu.com'
headers_lists =(
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) '
           'Chrome/65.0.3325.181 Safari/537.36',
    'Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;Maxthon2.0',
    'Opera/9.80(Android2.3.4;Linux;Operamobi/adr-1107051709;U;zh-cn)Presto/2.8.149Version/11.10',
    'Mozilla/5.0(WindowsNT6.1;rv:2.0.1)Gecko/20100101Firefox/4.0.1',
    'Mozilla/5.0(Android;Linuxarmv7l;rv:5.0)Gecko/Firefox/5.0fennec/5.0',)

rq = requests.get(url=url,headers={'User-Agent':random.choice(headers_lists)})
print(rq.text)

完整的請求體解釋：

以下是筆者訪問百度的請求體。

Accept：瀏覽器端可以接受的媒體類型

Accept-Encoding：瀏覽器申明自己接收的編碼方法

Accept-Language：瀏覽器申明自己接收的語言

Connection:keep-alive 客戶端和服務器之間還在連接中，如果關閉就是close

Host:請求報頭域主要用于指定被請求資源的Internet主機和端口號

User-Agent：使用的操作系統(tǒng)和瀏覽器的名稱和版本

Cookie:是用來存儲一些用戶信息以便讓服務器辨別用戶身份的

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

Python爬蟲爬取電影票房數(shù)據(jù)及圖表展示操作示例
這篇文章主要介紹了Python爬蟲爬取電影票房數(shù)據(jù)及圖表展示操作,結合實例形式分析了Python爬蟲爬取、解析電影票房數(shù)據(jù)并進行圖表展示操作相關實現(xiàn)技巧,需要的朋友可以參考下
2020-03-03
使用Python進行大規(guī)模數(shù)據(jù)處理和分析
大規(guī)模數(shù)據(jù)處理和分析旨在從海量數(shù)據(jù)中提取有用的信息和見解,以支持決策制定和業(yè)務發(fā)展,Python憑借其豐富的生態(tài)系統(tǒng)和強大的庫,為處理和分析數(shù)據(jù)提供了豐富的工具和資源,在本文中,我們將深入探討如何利用Python進行大規(guī)模數(shù)據(jù)處理和分析,需要的朋友可以參考下
2024-05-05
Python?Collections庫的高級功能使用示例詳解
Python的collections庫提供了一系列有用的數(shù)據(jù)類型,擴展了內建的數(shù)據(jù)類型,為開發(fā)者提供了更多高級功能,本文將深入探討collections庫的一些高級功能,通過詳細的示例代碼演示,幫助大家更好地理解和應用這些功能
2023-12-12
使用python實現(xiàn)多維數(shù)據(jù)降維操作
今天小編就為大家分享一篇使用python實現(xiàn)多維數(shù)據(jù)降維操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-02-02
numpy庫與pandas庫axis=0，axis= 1軸的用法詳解
這篇文章主要介紹了numpy庫與pandas庫axis=0，axis= 1軸的用法詳解，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2019-05-05
如何在python?中導入?package
這篇文章主要介紹了?如何在python中導入,package,package?在python中是一種有效組織代碼，module可以是一個文件，可以通過import來導入一個module?單個文件,而,package,則是作為一個目錄來導入,下文操作流程需要的朋友可以參考一下
2022-04-04
Python 文件操作的詳解及實例
這篇文章主要介紹了Python 文件操作的詳解及實例的相關資料,希望通過本文大家能夠理解掌握Python 文件操作的知識，需要的朋友可以參考下
2017-09-09
Python while、for、生成器、列表推導等語句的執(zhí)行效率測試
這篇文章主要介紹了Python while、for、生成器、列表推導等語句的執(zhí)行效率測試,本文分別用兩段程序測算出了各語句的執(zhí)行效率,然后總結了什么情況下使用什么語句優(yōu)先使用的語句等,需要的朋友可以參考下
2015-06-06
深入淺出學習python裝飾器
這篇文章主要和大家一起深入淺出的學習python裝飾器的相關資料，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2017-09-09
Anaconda下Python中h5py與netCDF4模塊下載與安裝的教程詳解
這篇文章主要為大家詳細介紹了基于Anaconda,下載并安裝Python中h5py與netCDF4這兩個模塊的方法,感興趣的小伙伴可以跟隨小編一起學習一下
2024-01-01