最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Python爬取動(dòng)態(tài)網(wǎng)頁(yè)中圖片的完整實(shí)例

 更新時(shí)間:2021年03月09日 09:11:57   作者:割韭菜的喵醬  
這篇文章主要給大家介紹了關(guān)于Python爬取動(dòng)態(tài)網(wǎng)頁(yè)中圖片的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧

動(dòng)態(tài)網(wǎng)頁(yè)爬取是爬蟲(chóng)學(xué)習(xí)中的一個(gè)難點(diǎn)。本文將以知名插畫(huà)網(wǎng)站pixiv為例,簡(jiǎn)要介紹動(dòng)態(tài)網(wǎng)頁(yè)爬取的方法。

寫(xiě)在前面

本代碼的功能是輸入畫(huà)師的pixiv id,下載畫(huà)師的所有插畫(huà)。由于本人水平所限,所以代碼不能實(shí)現(xiàn)自動(dòng)登錄pixiv,需要在運(yùn)行時(shí)手動(dòng)輸入網(wǎng)站的cookie值。

重點(diǎn):請(qǐng)求頭的構(gòu)造,json文件網(wǎng)址的查找,json中信息的提取

分析

創(chuàng)建文件夾

根據(jù)畫(huà)師的id創(chuàng)建文件夾(相關(guān)路徑需要自行調(diào)整)。

def makefolder(id): # 根據(jù)畫(huà)師的id創(chuàng)建對(duì)應(yīng)的文件夾
	try:
		folder = os.path.join('E:\pixivimages', id)
		os.mkdir(folder)
		return folder
	except(FileExistsError):
		print('the folder exists!')
		exit()

獲取作者所有圖片的id

訪問(wèn)url:https://pixiv.net/ajax/user/畫(huà)師id/profile/all(這個(gè)json可以在畫(huà)師主頁(yè)url:https://www.pixiv.net/users/畫(huà)師id 的開(kāi)發(fā)者面板中找到,如圖:)

json內(nèi)容:

將json文檔轉(zhuǎn)化為python的字典,提取對(duì)應(yīng)元素即可獲取所有的插畫(huà)id。

def getAuthorAllPicID(id, cookie): # 獲取畫(huà)師所有圖片的id
	url = 'https://pixiv.net/ajax/user/' + id + '/profile/all' # 訪問(wèn)存有畫(huà)師所有作品
	headers = {
		'User-Agent': user_agent,
		'Cookie': cookie,
		'Referer': 'https://www.pixiv.net/artworks/' 
		# referer不能缺少,否則會(huì)403
	}
	res = requests.get(url, headers=headers, proxies=proxies)
	if res.status_code == 200:
		resdict = json.loads(res.content)['body']['illusts'] # 將json轉(zhuǎn)化為python的字典后提取元素
		return [key for key in resdict] # 返回所有圖片id
	else:
		print("Can not get the author's picture ids!")
		exit()

獲取圖片的真實(shí)url并下載

訪問(wèn)url:https://www.pixiv.net/ajax/illust/圖片id?lang=zh,可以看到儲(chǔ)存有圖片真實(shí)地址的json:(這個(gè)json可以在圖片url:https://www.pixiv.net/artworks/圖片id 的開(kāi)發(fā)者面板中找到)

用同樣的方法提取json中有用的元素:

def getPictures(folder, IDlist, cookie): # 訪問(wèn)圖片儲(chǔ)存的真實(shí)網(wǎng)址
	for picid in IDlist:
		url1 = 'https://www.pixiv.net/artworks/{}'.format(picid) # 注意這里referer必不可少,否則會(huì)報(bào)403
		headers = {
			'User-Agent': user_agent,
			'Cookie': cookie,
			'Referer': url1
		}
		url = 'https://www.pixiv.net/ajax/illust/' + str(picid) + '?lang = zh' #訪問(wèn)儲(chǔ)存圖片網(wǎng)址的json
		res = requests.get(url, headers=headers, proxies=proxies)
		if res.status_code == 200:
			data = json.loads(res.content)
			picurl = data['body']['urls']['original'] # 在字典中找到儲(chǔ)存圖片的路徑與標(biāo)題
			title = data['body']['title']
			title = changeTitle(title) # 調(diào)整標(biāo)題
			print(title)
			print(picurl)
			download(folder, picurl, title, headers)
		else:
			print("Can not get the urls of the pictures!")
			exit()


def changeTitle(title): # 為了防止
	global i
	title = re.sub('[*:]', "", title) # 如果圖片中有下列符號(hào),可能會(huì)導(dǎo)致圖片無(wú)法成功下載
	# 注意可能還會(huì)有許多不能用于文件命名的符號(hào),如果找到對(duì)應(yīng)符號(hào)要將其添加到正則表達(dá)式中
	if title == '無(wú)題': # pixiv中有許多名為'無(wú)題'(日文)的圖片,需要對(duì)它們加以區(qū)分以防止覆蓋
		title = title + str(i)
		i = i + 1
	return title


def download(folder, picurl, title, headers): # 將圖片下載到文件夾中
	img = requests.get(picurl, headers=headers, proxies=proxies)
	if img.status_code == 200:
		with open(folder + '\\' + title + '.jpg', 'wb') as file: # 保存圖片
			print("downloading:" + title)
			file.write(img.content)
	else:
		print("download pictures error!")

完整代碼

import requests
from fake_useragent import UserAgent
import json
import re
import os

global i
i = 0
ua = UserAgent() # 生成假的瀏覽器請(qǐng)求頭,防止被封ip
user_agent = ua.random # 隨機(jī)選擇一個(gè)瀏覽器
proxies = {'http': 'http://127.0.0.1:51837', 'https': 'http://127.0.0.1:51837'} # 代理,根據(jù)自己實(shí)際情況調(diào)整,注意在請(qǐng)求時(shí)一定不要忘記代理!!


def makefolder(id): # 根據(jù)畫(huà)師的id創(chuàng)建對(duì)應(yīng)的文件夾
	try:
		folder = os.path.join('E:\pixivimages', id)
		os.mkdir(folder)
		return folder
	except(FileExistsError):
		print('the folder exists!')
		exit()


def getAuthorAllPicID(id, cookie): # 獲取畫(huà)師所有圖片的id
	url = 'https://pixiv.net/ajax/user/' + id + '/profile/all' # 訪問(wèn)存有畫(huà)師所有作品
	headers = {
		'User-Agent': user_agent,
		'Cookie': cookie,
		'Referer': 'https://www.pixiv.net/artworks/' 
	}
	res = requests.get(url, headers=headers, proxies=proxies)
	if res.status_code == 200:
		resdict = json.loads(res.content)['body']['illusts'] # 將json轉(zhuǎn)化為python的字典后提取元素
		return [key for key in resdict] # 返回所有圖片id
	else:
		print("Can not get the author's picture ids!")
		exit()


def getPictures(folder, IDlist, cookie): # 訪問(wèn)圖片儲(chǔ)存的真實(shí)網(wǎng)址
	for picid in IDlist:
		url1 = 'https://www.pixiv.net/artworks/{}'.format(picid) # 注意這里referer必不可少,否則會(huì)報(bào)403
		headers = {
			'User-Agent': user_agent,
			'Cookie': cookie,
			'Referer': url1
		}
		url = 'https://www.pixiv.net/ajax/illust/' + str(picid) + '?lang = zh' #訪問(wèn)儲(chǔ)存圖片網(wǎng)址的json
		res = requests.get(url, headers=headers, proxies=proxies)
		if res.status_code == 200:
			data = json.loads(res.content)
			picurl = data['body']['urls']['original'] # 在字典中找到儲(chǔ)存圖片的路徑與標(biāo)題
			title = data['body']['title']
			title = changeTitle(title) # 調(diào)整標(biāo)題
			print(title)
			print(picurl)
			download(folder, picurl, title, headers)
		else:
			print("Can not get the urls of the pictures!")
			exit()


def changeTitle(title): # 為了防止
	global i
	title = re.sub('[*:]', "", title) # 如果圖片中有下列符號(hào),可能會(huì)導(dǎo)致圖片無(wú)法成功下載
	# 注意可能還會(huì)有許多不能用于文件命名的符號(hào),如果找到對(duì)應(yīng)符號(hào)要將其添加到正則表達(dá)式中
	if title == '無(wú)題': # pixiv中有許多名為'無(wú)題'(日文)的圖片,需要對(duì)它們加以區(qū)分以防止覆蓋
		title = title + str(i)
		i = i + 1
	return title


def download(folder, picurl, title, headers): # 將圖片下載到文件夾中
	img = requests.get(picurl, headers=headers, proxies=proxies)
	if img.status_code == 200:
		with open(folder + '\\' + title + '.jpg', 'wb') as file: # 保存圖片
			print("downloading:" + title)
			file.write(img.content)
	else:
		print("download pictures error!")


def main():
	global i
	id = input('input the id of the artist:')
	cookie = input('input your cookie:') # 半自動(dòng)爬蟲(chóng),需要自己事先登錄pixiv以獲取cookie
	folder = makefolder(id)
	IDlist = getAuthorAllPicID(id, cookie)
	getPictures(folder, IDlist, cookie)


if __name__ == '__main__':
	main()

效果

總結(jié)

到此這篇關(guān)于Python爬取動(dòng)態(tài)網(wǎng)頁(yè)中圖片的文章就介紹到這了,更多相關(guān)Python爬取動(dòng)態(tài)網(wǎng)頁(yè)圖片內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • python實(shí)現(xiàn)復(fù)制大量文件功能

    python實(shí)現(xiàn)復(fù)制大量文件功能

    這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)復(fù)制大量文件功能,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2019-08-08
  • python 實(shí)現(xiàn)表情識(shí)別

    python 實(shí)現(xiàn)表情識(shí)別

    這篇文章主要介紹了python 實(shí)現(xiàn)表情識(shí)別的示例代碼,幫助大家更好的理解和學(xué)習(xí)python,感興趣的朋友可以了解下
    2020-11-11
  • Python Thread虛假喚醒概念與防范詳解

    Python Thread虛假喚醒概念與防范詳解

    這篇文章主要介紹了Python Thread虛假喚醒概念與防范,虛假喚醒是一種現(xiàn)象,它只會(huì)出現(xiàn)在多線(xiàn)程環(huán)境中,指的是在多線(xiàn)程環(huán)境下,多個(gè)線(xiàn)程等待在同一個(gè)條件上,等到條件滿(mǎn)足時(shí),所有等待的線(xiàn)程都被喚醒,但由于多個(gè)線(xiàn)程執(zhí)行的順序不同
    2023-02-02
  • OpenCV圖片漫畫(huà)效果的實(shí)現(xiàn)示例

    OpenCV圖片漫畫(huà)效果的實(shí)現(xiàn)示例

    這篇文章主要介紹了OpenCV圖片漫畫(huà)效果的實(shí)現(xiàn)示例,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2020-08-08
  • Python實(shí)現(xiàn)隨機(jī)生成圖片驗(yàn)證碼詳解

    Python實(shí)現(xiàn)隨機(jī)生成圖片驗(yàn)證碼詳解

    這篇文章主要介紹了如何利用Python生成隨機(jī)的圖片驗(yàn)證碼 并打印驗(yàn)證碼的值,文中的示例代碼簡(jiǎn)潔易懂,感興趣的小伙伴可以跟隨小編一起試試
    2022-01-01
  • python 通過(guò)SSHTunnelForwarder隧道連接redis的方法

    python 通過(guò)SSHTunnelForwarder隧道連接redis的方法

    今天小編就為大家分享一篇python 通過(guò)SSHTunnelForwarder隧道連接redis的方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2019-02-02
  • Python實(shí)現(xiàn)線(xiàn)性判別分析(LDA)的MATLAB方式

    Python實(shí)現(xiàn)線(xiàn)性判別分析(LDA)的MATLAB方式

    今天小編大家分享一篇Python實(shí)現(xiàn)線(xiàn)性判別分析(LDA)的MATLAB方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2019-12-12
  • python中pathlib 面向?qū)ο蟮奈募到y(tǒng)路徑

    python中pathlib 面向?qū)ο蟮奈募到y(tǒng)路徑

    文章介紹了Python 3.4+內(nèi)置的標(biāo)準(zhǔn)庫(kù)pathlib,該庫(kù)提供面向?qū)ο蟮奈募到y(tǒng)路徑處理,通過(guò)pathlib,可以更方便地進(jìn)行路徑操作,感興趣的朋友一起看看吧
    2024-12-12
  • 如何利用Python獲取鼠標(biāo)的實(shí)時(shí)位置

    如何利用Python獲取鼠標(biāo)的實(shí)時(shí)位置

    這篇文章主要給大家介紹了關(guān)于如何利用Python獲取鼠標(biāo)的實(shí)時(shí)位置的相關(guān)資料,主要利用的是pyautogui,一個(gè)自動(dòng)化鍵鼠操作的Python類(lèi)庫(kù),需要的朋友可以參考下
    2022-01-01
  • python生成詞云的實(shí)現(xiàn)方法(推薦)

    python生成詞云的實(shí)現(xiàn)方法(推薦)

    下面小編就為大家?guī)?lái)一篇python生成詞云的實(shí)現(xiàn)方法(推薦)。小編覺(jué)得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
    2017-06-06

最新評(píng)論

桂东县| 信阳市| 依兰县| 株洲市| 万荣县| 姚安县| 惠来县| 沽源县| 偃师市| 会理县| 陈巴尔虎旗| 惠来县| 建德市| 彝良县| 汤原县| 凌云县| 石景山区| 乌兰县| 长兴县| 潼南县| 肃南| 武平县| 夹江县| 呼图壁县| 灌阳县| 轮台县| 镇沅| 呼伦贝尔市| 灯塔市| 当涂县| 南岸区| 贵定县| 礼泉县| 金阳县| 柘城县| 黎川县| 吴堡县| 尼勒克县| 浑源县| 固安县| 临夏县|