最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

python利用urllib實(shí)現(xiàn)爬取京東網(wǎng)站商品圖片的爬蟲實(shí)例

 更新時間:2017年08月24日 09:30:36   投稿:jingxian  
下面小編就為大家?guī)硪黄猵ython利用urllib實(shí)現(xiàn)爬取京東網(wǎng)站商品圖片的爬蟲實(shí)例。小編覺得挺不錯的,現(xiàn)在就分享給大家,也給大家做個參考。一起跟隨小編過來看看吧

本例程使用urlib實(shí)現(xiàn)的,基于python2.7版本,采用beautifulsoup進(jìn)行網(wǎng)頁分析,沒有第三方庫的應(yīng)該安裝上之后才能運(yùn)行,我用的IDE是pycharm,閑話少說,直接上代碼!

# -*- coding: utf-8 -*
import re
import os
import urllib
import urllib2
from bs4 import BeautifulSoup
def craw(url,page):
 html1=urllib2.urlopen(url).read()
 html1=str(html1)
 soup=BeautifulSoup(html1,'lxml')
 imagelist=soup.select('#J_goodsList > ul > li > div > div.p-img > a > img')
 namelist=soup.select('#J_goodsList > ul > li > div > div.p-name > a > em')
 #pricelist=soup.select('#plist > ul > li > div > div.p-price > strong')
 #print pricelist
 path = "E:/{}/".format(str(goods))
 if not os.path.exists(path):
  os.mkdir(path)
 for (imageurl,name) in zip(imagelist,namelist):
  name=name.get_text()
  imagename=path + name +".jpg"
  imgurl="http:"+str(imageurl.get('data-lazy-img'))
  if imgurl == 'http:None':
   imgurl = "http:" + str(imageurl.get('src'))
  try:
   urllib.urlretrieve(imgurl,filename=imagename)
  except:
   continue

'''
#J_goodsList > ul > li:nth-child(1) > div > div.p-img > a > img
#plist > ul > li:nth-child(1) > div > div.p-name.p-name-type3 > a > em
#plist > ul > li:nth-child(1) > div > div.p-price > strong:nth-child(1) > i
'''

if __name__ == "__main__":
 goods=raw_input('please input the goos you want:')
 pages=input('please input the pages you want:')
 count =0.0
 for i in range(1,int(pages+1),2):
  url="https://search.jd.com/Search?keyword={}&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&suggest=1.def.0.T06&wq=diann&page={}".format(str(goods),str(i))
  craw(url,i)
  count += 1
  print 'work completed {:.2f}%'.format(count/int(pages)*100)

圖片的命名為商品的名稱,京東商品圖片地址的屬性很可能會有所變動,所以大家進(jìn)行編寫的時候應(yīng)該舉一反三,靈活運(yùn)用! 
這是我下載下來的手機(jī)類圖片文件的截圖: 

我本地的爬取的速度很快,不到一分鐘就能爬取100頁上千個商品的圖片!

以上這篇python利用urllib實(shí)現(xiàn)爬取京東網(wǎng)站商品圖片的爬蟲實(shí)例就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。

相關(guān)文章

  • Python中輸入若干整數(shù)以逗號間隔實(shí)現(xiàn)統(tǒng)計每個整數(shù)出現(xiàn)次數(shù)

    Python中輸入若干整數(shù)以逗號間隔實(shí)現(xiàn)統(tǒng)計每個整數(shù)出現(xiàn)次數(shù)

    這篇文章主要介紹了Python中輸入若干整數(shù)以逗號間隔實(shí)現(xiàn)統(tǒng)計每個整數(shù)出現(xiàn)次數(shù)的相關(guān)資料,需要的小伙伴可以參考一下,希望對你有所幫助
    2022-04-04
  • Python實(shí)現(xiàn)五子棋聯(lián)機(jī)對戰(zhàn)小游戲

    Python實(shí)現(xiàn)五子棋聯(lián)機(jī)對戰(zhàn)小游戲

    本文主要介紹了通過Python實(shí)現(xiàn)簡單的支持聯(lián)機(jī)對戰(zhàn)的游戲——支持局域網(wǎng)聯(lián)機(jī)對戰(zhàn)的五子棋小游戲。廢話不多說,快來跟隨小編一起學(xué)習(xí)吧
    2021-12-12
  • 從零開始搭建基于Python的微信小程序的教程分享

    從零開始搭建基于Python的微信小程序的教程分享

    這篇文章主要為大家展示了如何從零開始搭建一個基于?Python?的微信小程序項(xiàng)目,包含詳細(xì)的解決思路、方案和實(shí)際案例,希望對大家有所幫助
    2023-05-05
  • Python制作一個多功能音樂播放器

    Python制作一個多功能音樂播放器

    本文主要介紹了Python制作一個多功能音樂播放器,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2023-03-03
  • PyQt實(shí)現(xiàn)計數(shù)器的方法示例

    PyQt實(shí)現(xiàn)計數(shù)器的方法示例

    這篇文章主要介紹了PyQt實(shí)現(xiàn)計數(shù)器的方法示例,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2021-01-01
  • Python堆排序的實(shí)現(xiàn)示例

    Python堆排序的實(shí)現(xiàn)示例

    堆排序是一種基于二叉堆數(shù)據(jù)結(jié)構(gòu)的排序算法,本文主要介紹了Python堆排序的實(shí)現(xiàn)示例,具有一定的參考價值,感興趣的可以了解一下
    2023-11-11
  • 8種Python異常檢測算法總結(jié)

    8種Python異常檢測算法總結(jié)

    異常檢測是通過數(shù)據(jù)挖掘方法發(fā)現(xiàn)與數(shù)據(jù)集分布不一致的異常數(shù)據(jù),也被稱為離群點(diǎn)、異常值檢測等等。本文為大家整理了8個常見的Python異常檢測算法,希望對大家有所幫助
    2023-02-02
  • Python復(fù)制Excel中的行、列和單元格的操作代碼

    Python復(fù)制Excel中的行、列和單元格的操作代碼

    在Excel中,復(fù)制行、列和單元格是日常工作中經(jīng)常需要進(jìn)行的操作,它可以幫助你快速調(diào)整數(shù)據(jù)布局、復(fù)制數(shù)據(jù)模板或進(jìn)行數(shù)據(jù)的批量處理,本文將詳細(xì)介紹如何使用Python將Excel中的行、列、或單元格范圍復(fù)制到指定位置,需要的朋友可以參考下
    2024-09-09
  • Python利用pdfplumber實(shí)現(xiàn)讀取PDF寫入Excel

    Python利用pdfplumber實(shí)現(xiàn)讀取PDF寫入Excel

    pdfplumber專注PDF內(nèi)容提取,例如文本(位置、字體及顏色等)和形狀(矩形、直線、曲線),還有解析表格的功能。本文主要為大家介紹如何利用pdfplumber實(shí)現(xiàn)讀取PDF寫入Excel,需要的可以參考一下
    2022-06-06
  • Python網(wǎng)絡(luò)爬蟲之爬取微博熱搜

    Python網(wǎng)絡(luò)爬蟲之爬取微博熱搜

    這篇文章主要介紹了Python網(wǎng)絡(luò)爬蟲之爬取微博熱搜的相關(guān)知識,非常不錯,具有一定的參考借鑒價值,需要的朋友可以參考下
    2019-04-04

最新評論

普陀区| 尼木县| 通州市| 大悟县| 南汇区| 三台县| 德令哈市| 吉木乃县| 剑阁县| 涟源市| 景德镇市| 万年县| 安多县| 禹城市| 日照市| 宁海县| 和顺县| 论坛| 高雄县| 昭苏县| 平昌县| 宜章县| 亳州市| 疏附县| 康乐县| 师宗县| 鄂托克前旗| 合川市| 桐城市| 紫阳县| 长岭县| 县级市| 交城县| 兴业县| 军事| 沁阳市| 昭苏县| 中宁县| 乌兰浩特市| 七台河市| 鹤峰县|