python網(wǎng)絡(luò)爬蟲(chóng)之如何偽裝逃過(guò)反爬蟲(chóng)程序的方法
更新時(shí)間：2017年11月23日 09:15:03 作者：Master HaKu
本篇文章主要介紹了python網(wǎng)絡(luò)爬蟲(chóng)之如何偽裝逃過(guò)反爬蟲(chóng)程序的方法，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
有的時(shí)候，我們本來(lái)寫(xiě)得好好的爬蟲(chóng)代碼，之前還運(yùn)行得Ok, 一下子突然報(bào)錯(cuò)了。
報(bào)錯(cuò)信息如下：
Http 800 Internal internet error
這是因?yàn)槟愕膶?duì)象網(wǎng)站設(shè)置了反爬蟲(chóng)程序，如果用現(xiàn)有的爬蟲(chóng)代碼，會(huì)被拒絕。
之前正常的爬蟲(chóng)代碼如下：
from urllib.request import urlopen ... html = urlopen(scrapeUrl) bsObj = BeautifulSoup(html.read(), "html.parser")
這個(gè)時(shí)候，需要我們給我們的爬蟲(chóng)代碼做下偽裝，
給它添加表頭偽裝成是來(lái)自瀏覽器的請(qǐng)求
修改后的代碼如下：
import urllib.parse
import urllib.request
from bs4 import BeautifulSoup
...
req = urllib.request.Request(scrapeUrl)
req.add_header('User-Agent', 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)')
response = urllib.request.urlopen(req)
html = response.read()
bsObj = BeautifulSoup(html, "html.parser")
Ok,一切搞定，又可以繼續(xù)爬了。
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
您可能感興趣的文章:
- python爬蟲(chóng)爬取淘寶商品比價(jià)(附淘寶反爬蟲(chóng)機(jī)制解決小辦法)
- 用sleep間隔進(jìn)行python反爬蟲(chóng)的實(shí)例講解
- python中繞過(guò)反爬蟲(chóng)的方法總結(jié)
- cookies應(yīng)對(duì)python反爬蟲(chóng)知識(shí)點(diǎn)詳解
- python反爬蟲(chóng)方法的優(yōu)缺點(diǎn)分析
- python 常見(jiàn)的反爬蟲(chóng)策略
- Python爬蟲(chóng)與反爬蟲(chóng)大戰(zhàn)
- Python常見(jiàn)反爬蟲(chóng)機(jī)制解決方案
- Python反爬蟲(chóng)偽裝瀏覽器進(jìn)行爬蟲(chóng)
- 詳解python 破解網(wǎng)站反爬蟲(chóng)的兩種簡(jiǎn)單方法
- python爬蟲(chóng) urllib模塊反爬蟲(chóng)機(jī)制UA詳解
- 用python3 urllib破解有道翻譯反爬蟲(chóng)機(jī)制詳解
- Python反爬蟲(chóng)技術(shù)之防止IP地址被封殺的講解
- Python3爬蟲(chóng)學(xué)習(xí)之應(yīng)對(duì)網(wǎng)站反爬蟲(chóng)機(jī)制的方法分析
- python通過(guò)偽裝頭部數(shù)據(jù)抵抗反爬蟲(chóng)的實(shí)例
- python解決網(wǎng)站的反爬蟲(chóng)策略總結(jié)
- Requests什么的通通爬不了的Python超強(qiáng)反爬蟲(chóng)方案！
相關(guān)文章
這篇文章主要介紹了python2和python3的輸入和輸出區(qū)別介紹，本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2018-11-11
enumerate?是一個(gè)非常有用的函數(shù),它允許你在迭代過(guò)程中方便地獲取元素及其對(duì)應(yīng)的索引,使代碼更簡(jiǎn)潔、更Pythonic,這篇文章主要介紹了Python中的enumerate函數(shù)示例詳解,需要的朋友可以參考下2023-08-08
Python Social Auth構(gòu)建靈活而強(qiáng)大的社交登錄系統(tǒng)實(shí)例探究
這篇文章主要為大家介紹了Python Social Auth構(gòu)建靈活而強(qiáng)大的社交登錄系統(tǒng)實(shí)例探究,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2024-01-01
很多小伙伴在提到python數(shù)據(jù)可視化的時(shí)候第一反應(yīng)就是matplotlib庫(kù),但實(shí)際上python還有很多很好用的數(shù)據(jù)可視化的庫(kù),下面這篇文章主要給大家介紹了關(guān)于如何利用Python抓取數(shù)據(jù)并可視化的相關(guān)資料,需要的朋友可以參考下2022-05-05
批量將ppt轉(zhuǎn)換為pdf的Python代碼 只要27行!
這篇文章主要為大家詳細(xì)介紹了批量將ppt轉(zhuǎn)換為pdf的Python代碼，只要27行，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-02-02
解決python 輸出到csv 出現(xiàn)多空行的情況
這篇文章主要介紹了解決python 輸出到csv 出現(xiàn)多空行的情況，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-03-03
Python對(duì)FTP交互封裝的實(shí)現(xiàn)
本文主要介紹了Python對(duì)FTP交互封裝的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2022-06-06
這篇文章主要為大家詳細(xì)介紹了windows下python安裝pip圖文教程，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-05-05
Python實(shí)現(xiàn)圖片裁剪的兩種方式(Pillow和OpenCV)
這篇文章主要介紹了Python實(shí)現(xiàn)圖片裁剪的兩種方式(Pillow和OpenCV)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-10-10
Python 將代碼轉(zhuǎn)換為可執(zhí)行文件脫離python環(huán)境運(yùn)行(步驟詳解)
這篇文章主要介紹了Python 將代碼轉(zhuǎn)換為可執(zhí)行文件脫離python環(huán)境運(yùn)行(步驟詳解),本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-01-01