快捷導(dǎo)航

python爬蟲爬取淘寶商品比價(jià)(附淘寶反爬蟲機(jī)制解決小辦法)

更新時(shí)間：2020年12月03日 12:06:18 作者：我想吃紅燒豬蹄

這篇文章主要介紹了python爬蟲爬取淘寶商品比價(jià)(附淘寶反爬蟲機(jī)制解決小辦法)，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

因?yàn)樵u(píng)論有很多人說爬取不到，我強(qiáng)調(diào)幾點(diǎn)

kv的格式應(yīng)該是這樣的：

kv = {‘cookie':‘你復(fù)制的一長(zhǎng)串cookie',‘user-agent':‘Mozilla/5.0'}

注意都應(yīng)該用 ‘' ，然后還有個(gè)英文的逗號(hào),

kv寫完要在后面的代碼中添加

r = requests.get(url, headers=kv,timeout=30)

自己得先登錄自己的淘寶賬號(hào)才有自己登陸的cookie呀，沒登錄cookie當(dāng)然沒用

以下原博

本人是python新手，目前在看中國(guó)大學(xué)MOOC的嵩天老師的爬蟲課程，其中一個(gè)實(shí)例是講如何爬取淘寶商品信息

以下是代碼：

import requests
import re
 
def getHTMLText(url):
 try:
  r = requests.get(url, timeout=30)
  r.raise_for_status()
  r.encoding = r.apparent_encoding
  return r.text
 except:
  return ""
  
def parsePage(ilt, html):
 try:
  plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"',html)
  tlt = re.findall(r'\"raw_title\"\:\".*?\"',html)
  for i in range(len(plt)):
   price = eval(plt[i].split(':')[1])
   title = eval(tlt[i].split(':')[1])
   ilt.append([price , title])
 except:
  print("")
 
def printGoodsList(ilt):
 tplt = "{:4}\t{:8}\t{:16}"
 print(tplt.format("序號(hào)", "價(jià)格", "商品名稱"))
 count = 0
 for g in ilt:
  count = count + 1
  print(tplt.format(count, g[0], g[1]))
   
def main():
 goods = '書包'
 depth = 3
 start_url = 'https://s.taobao.com/search?q=' + goods
 infoList = []
 for i in range(depth):
  try:
   url = start_url + '&s=' + str(44*i)
   html = getHTMLText(url)
   parsePage(infoList, html)
  except:
   continue
 printGoodsList(infoList)
  
main()

但是我們運(yùn)行的時(shí)候會(huì)發(fā)現(xiàn)這個(gè)程序沒有出錯(cuò)，但是爬取不到，原因是淘寶實(shí)施了反爬蟲機(jī)制，r.text 時(shí)是登錄界面，我們?nèi)绾卫@過登錄界面進(jìn)行爬取呢？

首先我們需要先在瀏覽器中登錄我們的個(gè)人淘寶，然后搜索以書包為例的商品，打開開發(fā)者模式（我使用的是chrome）或者按F12

在這里插入圖片描述

這里我們可以看到我們當(dāng)前的cookie和user-agent（一般是Mozilla/5.0）（注意：如果沒有出現(xiàn)這幾個(gè)name，點(diǎn)擊瀏覽器刷新就會(huì)出現(xiàn)了）

然后在代碼中增加我們的cookie和user-agent

在這里插入圖片描述

然后運(yùn)行

在這里插入圖片描述

我只是個(gè)初學(xué)者，學(xué)的時(shí)候視頻給不了答案，百度了很多，才發(fā)現(xiàn)這個(gè)小技巧，
有問題百度就完事了

完整代碼

import requests
import re


def getHTMLText(url):
 kv = {'cookie':'t=5c749e8d453e7e3664735746f5eb5de8; cna=BrXNFDenbXUCAXggNKX9H1bo; thw=cn; tg=0; enc=5LMRHD8305w3oo8X0agYVFUDa7Ox%2F4RBf34oCWap48nRHy%2B%2B1RZCWZJ7ebn%2Fpy7vRNIL8xpS%2Ba0oNFXG5nSu8w%3D%3D; hng=CN%7Czh-CN%7CCNY%7C156; cookie2=10dbf1309bd9a2d5bc9cabe562965aee; _tb_token_=ee67e1a3ee0e5; alitrackid=www.taobao.com; swfstore=308730; v=0; unb=2448224718; sg=%E6%BB%A18d; _l_g_=Ug%3D%3D; skt=d53506c42f2db259; cookie1=BxUHGXuG%2B5Y4Iw7vZCvjLJ0zDvFL2Xy3mjxT%2FRPtFeA%3D; csg=4246b77f; uc3=vt3=F8dByEzfiHo1%2FUIk8VY%3D&id2=UUwU0bQkq1tYDQ%3D%3D&nk2=CN5OZuI3Xv2%2BlbVX&lg2=W5iHLLyFOGW7aA%3D%3D; existShop=MTU1MDU2MTUyMQ%3D%3D; tracknick=king%5Cu4E36%5Cu5C0F%5Cu4E30%5Cu6EE1; lgc=king%5Cu4E36%5Cu5C0F%5Cu4E30%5Cu6EE1; _cc_=VFC%2FuZ9ajQ%3D%3D; dnk=king%5Cu4E36%5Cu5C0F%5Cu4E30%5Cu6EE1; _nk_=king%5Cu4E36%5Cu5C0F%5Cu4E30%5Cu6EE1; cookie17=UUwU0bQkq1tYDQ%3D%3D; lastalitrackid=login.taobao.com; mt=ci=5_1; x=e%3D1%26p%3D*%26s%3D0%26c%3D0%26f%3D0%26g%3D0%26t%3D0%26__ll%3D-1%26_ato%3D0; uc1=cookie14=UoTZ5OXqJxXKdA%3D%3D&lng=zh_CN&cookie16=W5iHLLyFPlMGbLDwA%2BdvAGZqLg%3D%3D&existShop=false&cookie21=UIHiLt3xThH8t7YQouiW&tag=8&cookie15=UIHiLt3xD8xYTw%3D%3D&pas=0; JSESSIONID=F99B5E66516B99D5E7C9F431E402713F; l=bBNU0zKPvJ9oGfuLBOCNZuI8LN_OGIRYjuPRwCfMi_5B46JhzLQOllv3_FJ6Vj5RsK8B4z6vzNp9-etki; isg=BDg4VI5GkPAaMvx83RJGSPCNCeYKCZ0m9uCVOHKp6XNmjdh3GrU6uo2vQcWY5lQD; whl=-1%260%260%261550562673185',
   'user-agent':'Mozilla/5.0'}
 try:
  r = requests.get(url, headers=kv,timeout=30)
  r.raise_for_status()
  r.encoding = r.apparent_encoding
  return r.text
 except:
  return ""


def parsePage(ilt, html):
 try:
  plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"', html)
  tlt = re.findall(r'\"raw_title\"\:\".*?\"', html)
  for i in range(len(plt)):
   price = eval(plt[i].split(':')[1])
   title = eval(tlt[i].split(':')[1])
   ilt.append([price, title])
 except:
  print("")


def printGoodsList(ilt):
 tplt = "{:4}\t{:8}\t{:16}"
 print(tplt.format("序號(hào)", "價(jià)格", "商品名稱"))
 count = 0
 for g in ilt:
  count = count + 1
  print(tplt.format(count, g[0], g[1]))


def main():
 goods = '書包'
 depth = 3
 start_url = 'https://s.taobao.com/search?q=' + goods
 infoList = []
 for i in range(depth):
  try:
   url = start_url + '&s=' + str(44 * i)
   html = getHTMLText(url)
   parsePage(infoList, html)
  except:
   continue
 printGoodsList(infoList)


main()

到此這篇關(guān)于python爬蟲爬取淘寶商品比價(jià)(附淘寶反爬蟲機(jī)制解決小辦法)的文章就介紹到這了,更多相關(guān)python爬取淘寶商品內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

相關(guān)文章

Python安裝第三方庫攻略(pip和Anaconda)
這篇文章主要介紹了Python安裝第三方庫攻略(pip和Anaconda)，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2020-10-10
Python多線程thread及模塊使用實(shí)例
這篇文章主要介紹了Python多線程thread及模塊使用實(shí)例,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2020-04-04
Python使用try-except捕獲與處理異常的實(shí)現(xiàn)方法
在Python中,try-except 語句是用于捕獲和處理異常的主要工具,當(dāng)程序運(yùn)行過程中發(fā)生錯(cuò)誤時(shí),try-except 結(jié)構(gòu)可以有效地防止程序崩潰,并允許開發(fā)者為錯(cuò)誤提供適當(dāng)?shù)慕鉀Q方案,接下來,我們將詳細(xì)探討 try-except 的使用方式,需要的朋友可以參考下
2024-11-11
python實(shí)現(xiàn)多線程抓取知乎用戶
本文給大家分享的是如何使用Python實(shí)現(xiàn)多線程抓取知乎用戶的思路以及代碼，非常的詳細(xì)，作者使用本程序成功抓取到了百萬用戶，有需要的小伙伴可以參考下
2016-12-12
本文詳細(xì)講解了Python的面向?qū)ο缶幊?，文中通過示例代碼介紹的非常詳細(xì)。對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2022-05-05