python中繞過反爬蟲的方法總結(jié)
我們在登山的途中，有不同的路線可以到達(dá)終點。因為選擇的路線不同，上山的難度也有區(qū)別。就像最近幾天教大家獲取數(shù)據(jù)的時候，斷斷續(xù)續(xù)的講過header、地址ip等一些的方法。具體的爬取方法相信大家已經(jīng)掌握住，本篇小編主要是給大家進(jìn)行應(yīng)對反爬蟲方法的一個梳理，在進(jìn)行方法回顧的同時查漏補(bǔ)缺，建立系統(tǒng)的爬蟲知識框架。
首先分析要爬的網(wǎng)站，本質(zhì)是一個信息查詢系統(tǒng)，提供了搜索頁面。例如我想獲取某個case，需要利用這個case的id或者name字段，才能搜索到這個case的頁面。
出于對安全的考慮，有些網(wǎng)站會做一些反爬的措施，例如之前講到的需要判斷user-angent和cookies，或者判斷請求的ip是否在短時間內(nèi)多次訪問。該網(wǎng)站用的是知道創(chuàng)宇的安全服務(wù)，頻繁訪問會提示ip行為不正常。
瀏覽器本質(zhì)也是一個應(yīng)用程序，只要ip不被封，既然可以通過瀏覽器訪問，那么我們自己寫程序來請求也是應(yīng)該沒有問題的。
一些常見的繞過反爬蟲的措施有：
- 構(gòu)造消息頭：如上所說的user-angent和cookies都包含在消息頭當(dāng)中。
- 延長請求間隔：如果快速頻繁的發(fā)送請求，會大量搶占服務(wù)器資源，一般這種情況下很容易被網(wǎng)站的安全措施檢測出來并且封掉ip。所以適當(dāng)?shù)难娱L請求間隔，例如隨機(jī)隔2-5秒不等再發(fā)送下一次請求。
- 使用代理ip，解決ip檢測問題。
當(dāng)然常見的反爬蟲方法也不止以上的這些，這里只羅列出這常用的三種方法，有概念模糊的可以去往期的文章翻閱，其他的繞過反爬蟲方法
到此這篇關(guān)于python中繞過反爬蟲的方法總結(jié)的文章就介紹到這了,更多相關(guān)python中繞過反爬蟲的方法有哪些內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
需要提取apk文件的特定URL地址的朋友可以看一下這個代碼實例。2013-11-11
在本篇博客中，我們將使用Python代碼解決一個企業(yè)獎金計算的問題，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2023-06-06
使用注冊表的主要優(yōu)勢是可以在運(yùn)行時動態(tài)創(chuàng)建對象,從而實現(xiàn)高度可配置和可擴(kuò)展的設(shè)計,這篇文章主要介紹了python如何通過注冊表動態(tài)管理組件,需要的朋友可以參考下2024-05-05
Flask是一個使用 Python 編寫的輕量級 Web 應(yīng)用框架。其 WSGI 工具箱采用 Werkzeug ，模板引擎則使用 Jinja2 。Flask使用 BSD 授權(quán)，本篇我們來了解Flask框架中的HTTP請求2022-07-07
詳解如何為eclipse安裝合適版本的python插件pydev
這篇文章主要介紹了詳解如何為eclipse安裝合適版本的python插件pydev，pydev是一款優(yōu)秀的Eclipse插件，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-11-11
Python強(qiáng)化練習(xí)之PyTorch opp算法實現(xiàn)月球登陸器
在面向?qū)ο蟪霈F(xiàn)之前，我們采用的開發(fā)方法都是面向過程的編程(OPP)。面向過程的編程中最常用的一個分析方法是“功能分解”。我們會把用戶需求先分解成模塊，然后把模塊分解成大的功能，再把大的功能分解成小的功能，整個需求就是按照這樣的方式，最終分解成一個一個的函數(shù)2021-10-10
在本文里我們給大家分析那個了關(guān)于python三引號輸出方法以及相關(guān)知識點，需要的朋友們學(xué)習(xí)下。2019-02-02
利用 Python 元類的特性實現(xiàn) ORM 框架的 insert 功能，通過操作類對象，對數(shù)據(jù)表進(jìn)行數(shù)據(jù)增加操作。由于 ORM 比較復(fù)雜，也不要重復(fù)造輪子，就完成一個 insert 相類似的ORM，理解其中的道理即可。2021-05-05
centos 安裝Python3 及對應(yīng)的pip教程詳解
這篇文章主要介紹了centos 安裝Python3 及對應(yīng)的pip的教程，本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價值,需要的朋友可以參考下2019-06-06
Python Arrow處理時間數(shù)據(jù)使用詳解(標(biāo)準(zhǔn)庫之外另一種選擇)
這篇文章主要介紹了Python標(biāo)準(zhǔn)庫之外Arrow處理時間數(shù)據(jù)的另一種選擇使用詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2024-01-01