Python爬蟲爬取商品失敗處理方法

更新時(shí)間：2021年08月05日 08:28:56 作者：py

在本篇文章里小編給大家整理了一篇關(guān)于Python爬蟲爬取商品失敗處理方法，有興趣的朋友們可以學(xué)習(xí)參考下。

1.登陸網(wǎng)站，開啟開發(fā)者模式。

可以在瀏覽器中點(diǎn)擊右鍵檢查或者F12打開開發(fā)者模式。

2.點(diǎn)選 NetWork，DOC，然后刷新頁(yè)面。

在 network 中選擇 doc，在請(qǐng)求的 headers 中搜索 cookie。

3.獲取對(duì)應(yīng)的 cookie 以及 user-agent。

4.在代碼中添加到 headers 里面。

def getHTMLText(url):
  kv = {
    'cookie': 'adsgadfafegadsgadsfaefasdfaewfadsfag'
    'uaer-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'
  }
    try:
    r = requests.get(url, headers=kv, timeout=30)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    return r.text
  except:
    return "gg"

實(shí)例擴(kuò)展：

程序的結(jié)構(gòu)設(shè)計(jì)

提交商品搜索請(qǐng)求，循環(huán)獲取頁(yè)面
對(duì)于每個(gè)頁(yè)面，提取商品名稱和價(jià)格信息
將信息輸出

遇到問(wèn)題

爬取成功，數(shù)據(jù)有問(wèn)題

打印 html 文件，返回如下

<script type="text/javascript">
  TRLang = {
    ERROR_NICK_BLANK: "請(qǐng)?zhí)顚戀~戶名",
    ERROR_PASSWORD_BLANK: "請(qǐng)輸入密碼",
    ERROR_NICK_PASSWORD_BLANK: "請(qǐng)輸入賬戶名和密碼",
    ERROR_CHECKCODE_BLANK: "請(qǐng)輸入驗(yàn)證碼",
    TIPS_REMEMBER_PASSWORD: "記住密碼",
    TIPS_NOT_REMEMBER_PSW_ON_PUBLIC: "不要在公共計(jì)算機(jī)記住密碼，防止賬戶被盜"
  };
</script>

到此這篇關(guān)于Python爬蟲爬取商品失敗處理方法的文章就介紹到這了,更多相關(guān)Python爬蟲爬取商品失敗內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

相關(guān)文章

如何用python將單引號(hào)替換為雙引號(hào)
這篇文章主要介紹了如何用python將單引號(hào)替換為雙引號(hào)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教
2022-07-07
python制作最美應(yīng)用的爬蟲
這篇文章主要介紹了python制作最美應(yīng)用的爬蟲的相關(guān)資料,需要的朋友可以參考下
2015-10-10
Python實(shí)現(xiàn)單詞拼寫檢查
這篇文章主要介紹了Python實(shí)現(xiàn)單詞拼寫檢查,本文講解了單詞拼寫檢查的一些知識(shí)并給出兩種實(shí)現(xiàn)方法,需要的朋友可以參考下
2015-04-04
pyhton Sanic框架的文件上傳功能開發(fā)實(shí)戰(zhàn)示例教程
Sanic是一個(gè)Python 3.5+的異步Web框架,它的設(shè)計(jì)理念與Flask相似,但采用了更高效的異步I/O處理,在處理文件上傳時(shí),Sanic同樣提供了方便、高效的方法,本教程將結(jié)合實(shí)際案例,詳細(xì)介紹如何在Sanic框架中實(shí)現(xiàn)文件上傳的功能,感興趣的朋友跟隨小編一起看看吧
2024-08-08
Tensorflow: 從checkpoint文件中讀取tensor方式
今天小編就為大家分享一篇Tensorflow: 從checkpoint文件中讀取tensor方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2020-02-02
Python+selenium實(shí)現(xiàn)瀏覽器基本操作詳解
這篇文章主要為大家詳細(xì)介紹了如何通過(guò)python腳本實(shí)現(xiàn)瀏覽器的一些基本操作，如：瀏覽器的前進(jìn)后退、頁(yè)面刷新等，感興趣的可以學(xué)習(xí)一下
2022-06-06
Python數(shù)學(xué)建模StatsModels統(tǒng)計(jì)回歸模型數(shù)據(jù)的準(zhǔn)備
這篇文章主要介紹了Python數(shù)學(xué)建模StatsModels統(tǒng)計(jì)回歸模型數(shù)據(jù)的準(zhǔn)備學(xué)習(xí)，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步
2021-10-10
Python實(shí)現(xiàn)簡(jiǎn)單猜數(shù)字游戲
這篇文章主要為大家詳細(xì)介紹了Python實(shí)現(xiàn)猜數(shù)字游戲，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2021-02-02
Python標(biāo)準(zhǔn)庫(kù)datetime之datetime模塊用法分析詳解
這篇文章主要介紹了Python標(biāo)準(zhǔn)庫(kù)datetime之datetime模塊用法分析詳解，文章圍繞主題展開詳細(xì)的內(nèi)容介紹，具有一定的參考價(jià)值，需要的小伙伴可以參考一下
2022-07-07
Python with語(yǔ)句和過(guò)程抽取思想
這篇文章主要介紹了Python with語(yǔ)句和過(guò)程抽取思想,本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2019-12-12