python 多線程爬取壁紙網(wǎng)站的示例
更新時(shí)間：2021年02月20日 15:15:47 作者：Martina_oh
這篇文章主要介紹了python 多線程爬取壁紙網(wǎng)站的示例，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下
基本開發(fā)環(huán)境
· Python 3.6
· Pycharm
需要導(dǎo)入的庫(kù)
目標(biāo)網(wǎng)頁(yè)分析
網(wǎng)站是靜態(tài)網(wǎng)站，沒(méi)有加密，可以直接爬取
整體思路：
1、先在列表頁(yè)面獲取每張壁紙的詳情頁(yè)地址
2、在壁紙?jiān)斍轫?yè)面獲取壁紙真實(shí)高清url地址
3、保存地址
代碼實(shí)現(xiàn)
模擬瀏覽器請(qǐng)請(qǐng)求網(wǎng)頁(yè)，獲取網(wǎng)頁(yè)數(shù)據(jù)
這里只選擇爬取前10頁(yè)的數(shù)據(jù)
代碼如下
import threading
import parsel
import requests
def get_html(html_url):
'''
獲取網(wǎng)頁(yè)源代碼
:param html_url: 網(wǎng)頁(yè)url
:return:
'''
response = requests.get(url=html_url, headers=headers)
return response
def get_par(html_data):
'''
把 response.text 轉(zhuǎn)換成 selector 對(duì)象 解析提取數(shù)據(jù)
:param html_data: response.text
:return: selector 對(duì)象
'''
selector = parsel.Selector(html_data)
return selector
def download(img_url, title):
'''
保存數(shù)據(jù)
:param img_url: 圖片地址
:param title: 圖片標(biāo)題
:return:
'''
content = get_html(img_url).content
path = '壁紙\\' + title + '.jpg'
with open(path, mode='wb') as f:
f.write(content)
print('正在保存', title)
def main(url):
'''
主函數(shù)
:param url: 列表頁(yè)面 url
:return:
'''
html_data = get_html(url).text
selector = get_par(html_data)
lis = selector.css('.wb_listbox div dl dd a::attr(href)').getall()
for li in lis:
img_data = get_html(li).text
img_selector = get_par(img_data)
img_url = img_selector.css('.wb_showpic_main img::attr(src)').get()
title = img_selector.css('.wb_pictitle::text').get().strip()
download(img_url, title)
end_time = time.time() - s_time
print(end_time)
if __name__ == '__main__':
for page in range(1, 11):
url = 'http://www.deskbizhi.com/min/list-{}.html'.format(page)
main_thread = threading.Thread(target=main, args=(url,))
main_thread.start()
以上就是python 多線程爬取壁紙網(wǎng)站的示例的詳細(xì)內(nèi)容，更多關(guān)于python 爬取壁紙網(wǎng)站的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
這篇文章主要介紹了Python的條件鎖與事件共享詳解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-09-09
Python通過(guò)隊(duì)列實(shí)現(xiàn)進(jìn)程間通信詳情
這篇文章主要介紹了Python通過(guò)隊(duì)列實(shí)現(xiàn)進(jìn)程間通信詳情文章通過(guò)提出問(wèn)題：在多進(jìn)程中，每個(gè)進(jìn)程之間是什么關(guān)系展開主題相關(guān)內(nèi)容，感興趣的朋友可以參考一下2022-06-06
python自動(dòng)化神器pyautogui使用步驟
這篇文章主要給大家介紹了關(guān)于python自動(dòng)化神器pyautogui使用步驟的相關(guān)資料,在Python當(dāng)中不僅代碼簡(jiǎn)單,而且有著非常豐富的模塊,pyautogui就可以稱之為自動(dòng)化操作的"神器",需要的朋友可以參考下2023-07-07
這篇文章主要介紹了python中單下劃線_的常見用法總結(jié),其實(shí)很多（不是所有）關(guān)于下劃線的使用都是一些約定俗成的慣例，而不是真正對(duì)python解釋器有影響，感興趣的朋友跟隨腳本之家小編一起看看吧2018-07-07
這篇文章主要介紹了Python可變參數(shù)用法,結(jié)合實(shí)例形式分析了Python可變參數(shù)的具體定義、使用方法與相關(guān)注意事項(xiàng),需要的朋友可以參考下2017-04-04
Task主要作用是幫助event_loop調(diào)度,如果Task發(fā)現(xiàn)它打包的協(xié)程在await一個(gè)對(duì)象(執(zhí)行一個(gè)io操作),則Task會(huì)掛起該協(xié)程的執(zhí)行,把控制權(quán)交回event_loop,讓他去運(yùn)行其他Task,當(dāng)該對(duì)象運(yùn)行完畢,Task將打包的協(xié)程恢復(fù)運(yùn)行,本文介紹Python asyncio使用小結(jié),感興趣的朋友一起看看吧2024-02-02
Keras預(yù)訓(xùn)練的ImageNet模型實(shí)現(xiàn)分類操作
這篇文章主要介紹了Keras預(yù)訓(xùn)練的ImageNet模型實(shí)現(xiàn)分類操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-07-07
Python字典中的值為列表或字典的構(gòu)造實(shí)例
今天小編就為大家分享一篇Python字典中的值為列表或字典的構(gòu)造實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-12-12
今天小編就為大家分享一篇python判斷無(wú)向圖環(huán)是否存在的示例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-11-11
python用類實(shí)現(xiàn)文章敏感詞的過(guò)濾方法示例
這篇文章主要介紹了python用類實(shí)現(xiàn)文章敏感詞的過(guò)濾方法示例，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-10-10