Python爬取京東的商品分類與鏈接

更新時間：2016年08月26日 09:23:57 作者：Rookie_C

這篇文章主要介紹利用python爬取京東商品分類以及對應的連接，這個功能不是很復雜，沒有爬取里面的隱藏的東西。算是給新手一個示例教程吧，有需要的可以參考借鑒。

前言

本文主要的知識點是使用Python的BeautifulSoup進行多層的遍歷。

如圖所示。只是一個簡單的哈，不是爬取里面的隱藏的東西。

示例代碼

from bs4 import BeautifulSoup as bs
import requests
headers = {
  "host": "www.jd.com",
  "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36 Core/1.47.933.400 QQBrowser/9.4.8699.400",
  "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8"
  }
session = requests.session()
def get_url():
  renspned = bs(session.get('http://www.jd.com/',headers = headers).text,'html.parser')
  for i in renspned.find("div", {"class": "dd-inner"}).find_all("a",{"target":"_blank"}):
    print(i.get_text(),':',i.get('href'))
get_url()

運行這段代碼以及達到了我們的目的。

我們來解讀一下這段代碼。

首先我們要訪問到京東的首頁。

然后通過BeautifulSoup對訪問到的首頁進行解析。

這個時候，我們就要定位元素，來獲取我們需要的東西了。

在瀏覽器中通過F12，我們可以看到下圖所示的東西：

我們來看看下面這句代碼：

for i in renspned.find("div", {"class": "dd-inner"}).find_all("a",{"target":"_blank"})

這一行代碼完全滿足我們的需求，首先用find方法，定位到了class=“dd-inner”的div，然后使用find_all對該標簽下所有的a標簽。

最后，我想打印出所有的商品分類以及對應的鏈接，于是，我使用了i.get_text()和i.get('href')的方法終于獲取到了商品分類和對應的鏈接。

總結(jié)

其實不是很難，主要是要用對方法。筆者因為是初學方法沒有用對?；瞬畈欢鄡商鞎r間才搞定。這里也是告訴大家，可以使用find().find_all()的方法進行多層的遍歷。以上就是我利用Python爬取京東的商品分類與鏈接的一些經(jīng)驗，希望對大家學習python能有所幫助。

您可能感興趣的文章:

20行Python代碼實現(xiàn)一款永久免費PDF編輯工具的實現(xiàn)
這篇文章主要介紹了20行Python代碼實現(xiàn)一款永久免費PDF編輯工具的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2020-08-08
詳解Python如何實現(xiàn)查看WiFi密碼
這篇文章主要為大家詳細介紹了如何使用python來試試看看能不能讀取到已連接過WIFI的密碼,文中的示例代碼講解詳細,?感興趣的小伙伴可以了解下
2023-11-11
Python中使用Boolean操作符做真值測試實例
這篇文章主要介紹了Python中使用Boolean操作符做真值測試實例,在Python中，任何類型的對象都可以做真值測試，并且保證返回True或者False,需要的朋友可以參考下
2015-01-01
關于pyinstaller生成.exe程序報錯:缺少.ini文件的分析
這篇文章主要介紹了關于pyinstaller生成.exe程序報錯:缺少.ini文件的分析，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
2022-02-02
tkinter動態(tài)顯示時間的兩種實現(xiàn)方法
這篇文章主要介紹了tkinter動態(tài)顯示時間的兩種實現(xiàn)方法，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
2023-01-01
python Flask 裝飾器順序問題解決
這篇文章主要介紹了python Flask 裝飾器順序問題解決，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2018-08-08
django之自定義軟刪除Model的方法
這篇文章主要介紹了django之自定義軟刪除Model的方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2019-08-08
Python 爬蟲多線程詳解及實例代碼
這篇文章主要介紹了Python 爬蟲多線程詳解及實例代碼的相關資料,需要的朋友可以參考下
2016-10-10
python 讀寫中文json的實例詳解
這篇文章主要介紹了 python 讀寫中文json的實例詳解的相關資料,希望通過本文能幫助到大家，讓大家掌握這樣的內(nèi)容，需要的朋友可以參考下
2017-10-10
Python中使用gflags實例及原理解析
這篇文章主要介紹了Python中使用gflags實例及原理解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
2019-12-12