python抓取豆瓣圖片并自動(dòng)保存示例學(xué)習(xí)
環(huán)境Python 2.7.6，BS4，在powershell或命令行均可運(yùn)行。請(qǐng)確保安裝了BS模塊
# -*- coding:utf8 -*-
# 2013.12.36 19:41 wnlo-c209
# 抓取dbmei.com的圖片。
from bs4 import BeautifulSoup
import os, sys, urllib2
# 創(chuàng)建文件夾，昨天剛學(xué)會(huì)
path = os.getcwd() # 獲取此腳本所在目錄
new_path = os.path.join(path,u'豆瓣妹子')
if not os.path.isdir(new_path):
os.mkdir(new_path)
def page_loop(page=0):
url = 'http://www.dbmeizi.com/?p=%s' % page
content = urllib2.urlopen(url)
soup = BeautifulSoup(content)
my_girl = soup.find_all('img')
# 加入結(jié)束檢測(cè)，寫(xiě)的不好....
if my_girl ==[]:
print u'已經(jīng)全部抓取完畢'
sys.exit(0)
print u'開(kāi)始抓取'
for girl in my_girl:
link = girl.get('src')
flink = 'http://www.dbmeizi.com/' + link
print flink
content2 = urllib2.urlopen(flink).read()
with open(u'豆瓣妹子'+'/'+flink[-11:],'wb') as code: #在OSC上現(xiàn)學(xué)的
code.write(content2)
page = int(page) + 1
print u'開(kāi)始抓取下一頁(yè)'
print 'the %s page' % page
page_loop(page)
page_loop().
- 一個(gè)簡(jiǎn)單的python爬蟲(chóng)程序 爬取豆瓣熱度Top100以內(nèi)的電影信息
- 實(shí)踐Python的爬蟲(chóng)框架Scrapy來(lái)抓取豆瓣電影TOP250
- python使用urllib模塊開(kāi)發(fā)的多線程豆瓣小站mp3下載器
- python正則匹配抓取豆瓣電影鏈接和評(píng)論代碼分享
- python登錄豆瓣并發(fā)帖的方法
- python獲取豆瓣電影簡(jiǎn)介代碼分享
- 編寫(xiě)Python爬蟲(chóng)抓取豆瓣電影TOP100及用戶頭像的方法
- Python實(shí)現(xiàn)豆瓣圖片下載的方法
- Python爬蟲(chóng)實(shí)戰(zhàn)：分析《戰(zhàn)狼2》豆瓣影評(píng)
- Python利用lxml模塊爬取豆瓣讀書(shū)排行榜的方法與分析
相關(guān)文章
為什么在函數(shù)中運(yùn)行的?Python?代碼速度更快？
對(duì)于Python解釋器來(lái)說(shuō),讀取和寫(xiě)入局部變量比全局變量更容易和更快,因?yàn)樗鼈兊淖饔糜蚍秶^小2023-09-09
Python日期與時(shí)間模塊(datetime+time+Calendar+dateuil?)相關(guān)使用講解
這篇文章主要介紹了Python日期與時(shí)間模塊(datetime+time+Calendar+dateuil?)相關(guān)使用講解,文章圍繞主題展開(kāi)詳細(xì)的內(nèi)容戒殺，具有一定的參考價(jià)值，需要的朋友可以參考一下2022-09-09
一文詳解Python中的行為驗(yàn)證碼驗(yàn)證功能
最近在開(kāi)發(fā)行為驗(yàn)證碼，經(jīng)常觸及到關(guān)于驗(yàn)證類(lèi)型的相關(guān)內(nèi)容。但使用起來(lái)不太熟練，所以本文就來(lái)總結(jié)一下對(duì)行為驗(yàn)證碼驗(yàn)證類(lèi)型的理解2023-03-03
celery在python爬蟲(chóng)中定時(shí)操作實(shí)例講解
在本篇文章里小編給大家整理了一篇關(guān)于celery在python爬蟲(chóng)中定時(shí)操作實(shí)例講解內(nèi)容，需要的朋友們可以參考下。2020-11-11
如果你的Python程序或Django項(xiàng)目運(yùn)行速度慢，先別急著怪Python或Django。其實(shí)程序運(yùn)行效率是可以通過(guò)提升硬件水平、架構(gòu)和數(shù)據(jù)庫(kù)優(yōu)化和改進(jìn)算法來(lái)大大提升的。今天大江哥將分享一些主要Django性能優(yōu)化手段，完全可以讓你的Django程序跑得飛快。2021-04-04
沒(méi)想到python是如此強(qiáng)大，令人著迷，以前看見(jiàn)圖片總是一張一張復(fù)制粘貼，現(xiàn)在好了，學(xué)會(huì)python就可以用程序?qū)⒁粡垙垐D片，保存下來(lái)。今天網(wǎng)上沖浪看到很多美圖，可是圖片有點(diǎn)多，不想一張一張地復(fù)制粘貼，怎么辦呢？辦法總是有的，即便沒(méi)有我們也可以創(chuàng)造一個(gè)辦法2021-11-11
python3新特性函數(shù)注釋Function Annotations用法分析
這篇文章主要介紹了python3新特性函數(shù)注釋Function Annotations用法,結(jié)合實(shí)例形式分析了Python3函數(shù)注釋的定義方法與使用技巧,需要的朋友可以參考下2016-07-07
Python高光譜遙感影像處理問(wèn)題詳細(xì)分析講解
這篇文章主要介紹了Python高光譜遙感影像處理問(wèn)題，總的來(lái)說(shuō)這并不是一道難題，那為什么要拿出這道題介紹？拿出這道題真正想要傳達(dá)的是解題的思路，以及不斷優(yōu)化探尋最優(yōu)解的過(guò)程。希望通過(guò)這道題能給你帶來(lái)一種解題優(yōu)化的思路2023-01-01
matplotlib jupyter notebook 圖像可視化 plt show操作
這篇文章主要介紹了matplotlib jupyter notebook 圖像可視化 plt show操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-04-04
Python實(shí)現(xiàn)計(jì)算AUC的三種方式總結(jié)
AUC（Area?under?curve）是機(jī)器學(xué)習(xí)常用的二分類(lèi)評(píng)測(cè)手段，直接含義是ROC曲線下的面積。本文總結(jié)了Python語(yǔ)言實(shí)現(xiàn)計(jì)算AUC的三種方式，感興趣的可以學(xué)習(xí)一下2022-07-07