快捷導(dǎo)航

python小技巧之批量抓取美女圖片

更新時(shí)間：2014年06月06日 14:56:50 作者：

學(xué)了python以后，知道python的抓取功能其實(shí)是非常強(qiáng)大的，當(dāng)然不能浪費(fèi)，呵呵。我平時(shí)很喜歡美女圖，呵呵，程序員很苦悶的，看看美女，養(yǎng)養(yǎng)眼，增加點(diǎn)樂(lè)趣。好，那就用python寫(xiě)一個(gè)美女圖自動(dòng)抓取程序吧~~

其中用到urllib2模塊和正則表達(dá)式模塊。下面直接上代碼：

[/code]
#!/usr/bin/env python
#-*- coding: utf-8 -*-
#通過(guò)urllib(2)模塊下載網(wǎng)絡(luò)內(nèi)容
import urllib,urllib2,gevent
#引入正則表達(dá)式模塊，時(shí)間模塊
import re,time
from gevent import monkey

monkey.patch_all()

def geturllist(url):
    url_list=[]
    print url
    s = urllib2.urlopen(url)
    text = s.read()
    #正則匹配，匹配其中的圖片
    html = re.search(r'<ol.*</ol>', text, re.S)
    urls = re.finditer(r'<p><img src="(.+?)jpg" /></p>',html.group(),re.I)
    for i in urls:
        url=i.group(1).strip()+str("jpg")
        url_list.append(url)
    return url_list

def download(down_url):
    name=str(time.time())[:-3]+"_"+re.sub('.+?/','',down_url)
    print name
    urllib.urlretrieve(down_url, "D:\\TEMP\\"+name)

def getpageurl():
    page_list = []
    #進(jìn)行列表頁(yè)循環(huán)
    for page in range(1,700):
        url="http://jandan.net/ooxx/page-"+str(page)+"#comments"
        #把生成的url加入到page_list中
        page_list.append(url)
    print page_list
    return page_list
if __name__ == '__main__':
    jobs = []
    pageurl = getpageurl()[::-1]
    #進(jìn)行圖片下載
    for i in pageurl:
        for (downurl) in geturllist(i):
            jobs.append(gevent.spawn(download, downurl))
    gevent.joinall(jobs)
[/code]

程序不長(zhǎng)才45行，不是太難，大家可以研究下，這里我只是拋磚引玉，大家可以根據(jù)原理開(kāi)發(fā)出其他的抓取程序，呵呵，自己想去吧。。。我就不多說(shuō)了~~

您可能感興趣的文章:

相關(guān)文章

python忽略warnings的幾種方法
本文主要介紹了幾種在Python忽略警告信息的方法,,可以使用Python 內(nèi)置的警告控制機(jī)制來(lái)抑制特定類(lèi)型的警告,下面就來(lái)介紹一下,感興趣的可以了解一下
2025-01-01
Python教程之基本運(yùn)算符的使用(上)
Python?運(yùn)算符通常用于對(duì)值和變量執(zhí)行操作。這些是用于邏輯和算術(shù)運(yùn)算的標(biāo)準(zhǔn)符號(hào)。在本文中，我們將研究不同類(lèi)型的?Python?運(yùn)算符，感興趣的可以了解一下
2022-09-09
numpy數(shù)組做圖片拼接的實(shí)現(xiàn)（concatenate、vstack、hstack）
這篇文章主要介紹了numpy數(shù)組做圖片拼接的實(shí)現(xiàn)（concatenate、vstack、hstack），文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2019-11-11
Python圖形用戶界面與游戲開(kāi)發(fā)實(shí)例詳解
GUI是圖形用戶界面的縮寫(xiě),圖形化的用戶界面對(duì)使用過(guò)計(jì)算機(jī)的人來(lái)說(shuō)應(yīng)該都不陌生,下面這篇文章主要給大家介紹了關(guān)于Python圖形用戶界面與游戲開(kāi)發(fā)的相關(guān)資料,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下
2022-09-09
Python操作Jira庫(kù)常用方法解析
這篇文章主要介紹了Python操作Jira庫(kù)常用方法解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2020-04-04
用python進(jìn)行線性/非線性擬合的三種方法
這篇文章主要給大家介紹了關(guān)于用python進(jìn)行線性/非線性擬合的三種方法,數(shù)據(jù)分析中經(jīng)常會(huì)使用到數(shù)據(jù)擬合,文中通過(guò)實(shí)例代碼以及圖文介紹的非常詳細(xì),需要的朋友可以參考下
2023-07-07
Django ModelSerializer實(shí)現(xiàn)自定義驗(yàn)證的使用示例
本文主要介紹了Django ModelSerializer實(shí)現(xiàn)自定義驗(yàn)證的使用示例,多種字段驗(yàn)證器幫助開(kāi)發(fā)者確保數(shù)據(jù)的完整性和準(zhǔn)確性,具有一定的參考價(jià)值,感興趣的可以了解一下
2023-11-11
Python+OpenCV人臉檢測(cè)原理及示例詳解
這篇文章主要為大家詳細(xì)介紹了Python+OpenCV人臉檢測(cè)原理及示例，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2017-12-12
python-docx的簡(jiǎn)單使用示例教程
這篇文章主要介紹了python-docx的簡(jiǎn)單使用，本文通過(guò)示例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
2023-05-05
Python中8種運(yùn)算符介紹以及示例
在Python編程中運(yùn)算符是用于執(zhí)行各種操作的特殊符號(hào)或關(guān)鍵字,下面這篇文章主要給大家介紹了關(guān)于Python中8種運(yùn)算符介紹以及示例的相關(guān)資料,文中通過(guò)圖文介紹的非常詳細(xì),需要的朋友可以參考下
2024-02-02