python 爬蟲出現(xiàn)403禁止訪問錯(cuò)誤詳解
python 爬蟲解決403禁止訪問錯(cuò)誤
在Python寫爬蟲的時(shí)候，html.getcode()會(huì)遇到403禁止訪問的問題，這是網(wǎng)站對(duì)自動(dòng)化爬蟲的禁止，要解決這個(gè)問題，需要用到python的模塊urllib2模塊
urllib2模塊是屬于一個(gè)進(jìn)階的爬蟲抓取模塊，有非常多的方法，比方說連接url=//m.fzitv.net/qysh123對(duì)于這個(gè)連接就有可能出現(xiàn)403禁止訪問的問題
解決這個(gè)問題，需要以下幾步驟：
<span style="font-size:18px;">req = urllib2.Request(url)
req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36")
req.add_header("GET",url)
req.add_header("Host","blog.csdn.net")
req.add_header("Referer","http://m.fzitv.net/")
其中User-Agent是瀏覽器特有的屬性，通過瀏覽器查看源代碼就可以查看到
然后
html=urllib2.urlopen(req) print html.read()
就可以把網(wǎng)頁代碼全部下載下來，而沒有了403禁止訪問的問題。
對(duì)于以上問題，可以封裝成函數(shù)，供以后調(diào)用方便使用，具體代碼：
#-*-coding:utf-8-*-
import urllib2
import random
url="http://m.fzitv.net/article/1.htm"
my_headers=["Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36",
"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0"
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.75.14 (KHTML, like Gecko) Version/7.0.3 Safari/537.75.14",
"Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Win64; x64; Trident/6.0)"
]
def get_content(url,headers):
'''''
@獲取403禁止訪問的網(wǎng)頁
'''
randdom_header=random.choice(headers)
req=urllib2.Request(url)
req.add_header("User-Agent",randdom_header)
req.add_header("Host","blog.csdn.net")
req.add_header("Referer","http://m.fzitv.net/")
req.add_header("GET",url)
content=urllib2.urlopen(req).read()
return content
print get_content(url,my_headers)
其中用到了random隨機(jī)函數(shù)，自動(dòng)獲取已經(jīng)寫好的瀏覽器類型的User-Agent信息，在自定義函數(shù)中需要寫出自己的Host,Referer,GET信息等，解決這幾個(gè)問題，就可以順利訪問了，不再出現(xiàn)403訪問的信息。
當(dāng)然如果訪問頻率過快的話，有些網(wǎng)站還是會(huì)過濾的，解決這個(gè)需要用到代理IP的方法。。。具體的自己解決
感謝閱讀，希望能幫助到大家，謝謝大家對(duì)本站的支持！
相關(guān)文章
python實(shí)現(xiàn)差分隱私Laplace機(jī)制詳解
今天小編就為大家分享一篇python實(shí)現(xiàn)差分隱私Laplace機(jī)制詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-11-11
python中設(shè)置超時(shí)跳過,超時(shí)退出的方式
今天小編就為大家分享一篇python中設(shè)置超時(shí)跳過,超時(shí)退出的方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-12-12
Python實(shí)現(xiàn)普通圖片轉(zhuǎn)ico圖標(biāo)的方法詳解
ICO是一種圖標(biāo)文件格式，圖標(biāo)文件可以存儲(chǔ)單個(gè)圖案、多尺寸、多色板的圖標(biāo)文件。本文將利用Python實(shí)現(xiàn)普通圖片轉(zhuǎn)ico圖標(biāo)，感興趣的小伙伴可以了解一下2022-11-11
Python SQLAlchemy簡(jiǎn)介及基本用法
SQLAlchemy是一個(gè)基于Python實(shí)現(xiàn)的ORM對(duì)象關(guān)系映射框架，該框架建立在DB API之上，使用關(guān)系對(duì)象映射進(jìn)行數(shù)據(jù)庫操作，這篇文章主要介紹了SQLAlchemy簡(jiǎn)介以及基本使用,需要的朋友可以參考下2023-08-08
Python實(shí)現(xiàn)更改圖片尺寸大小的方法(基于Pillow包)
這篇文章主要介紹了Python實(shí)現(xiàn)更改圖片尺寸大小的方法,結(jié)合實(shí)例形式分析了Python基于Pillow包更改圖片屬性的相關(guān)技巧,需要的朋友可以參考下2016-09-09
Requests 使用的是 urllib3，因此繼承了它的所有特性。Requests 支持 HTTP 連接保持和連接池，支持使用 cookie 保持會(huì)話，支持文件上傳，支持自動(dòng)確定響應(yīng)內(nèi)容的編碼，支持國際化的 URL 和 POST 數(shù)據(jù)自動(dòng)編碼?，F(xiàn)代、國際化、人性化。2017-05-05
Python使用tkinter模塊實(shí)現(xiàn)GUI界面的學(xué)生信息管理系統(tǒng)流程分步詳解
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)簡(jiǎn)易學(xué)生信息管理系統(tǒng)，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2023-01-01
Django 設(shè)置admin后臺(tái)表和App(應(yīng)用)為中文名的操作方法
這篇文章主要介紹了Django 設(shè)置admin后臺(tái)表和App(應(yīng)用)為中文名的操作方法,本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-05-05
這篇文章主要介紹了python實(shí)現(xiàn)圖片批量剪切示例,需要的朋友可以參考下2014-03-03
這篇文章主要介紹了解析Python的縮進(jìn)規(guī)則的使用，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2019-01-01