最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Python 批量下載陰陽(yáng)師網(wǎng)站壁紙

 更新時(shí)間:2021年05月19日 16:23:59   作者:阿鼎0815  
學(xué)習(xí)要始于興趣,自己學(xué)習(xí)python的一大初衷是希望能用于寫一些簡(jiǎn)單的游戲腳本,能服務(wù)于生活。所以決定試著直接從爬取我最愛玩的陰陽(yáng)師網(wǎng)站的一些壁紙開始

代碼復(fù)制可直接使用,記得pip install下載requests和bs4

最終版本

# 引入系統(tǒng)類庫(kù)用于打開關(guān)閉文件
import sys
# 使用文檔解析類庫(kù)
from bs4 import BeautifulSoup
# 使用網(wǎng)絡(luò)請(qǐng)求類庫(kù)
import requests

#圖片保存目錄
path = 'D:/陰陽(yáng)師' 
#陰陽(yáng)師壁紙網(wǎng)站
html_doc = "https://yys.163.com/media/picture.html" 

# 請(qǐng)求
requests_html_doc = requests.get(html_doc).text
# 正則匹配所有href地址
regex = re.compile('.*?href="(.*?)2732x2048.jpg" rel="external nofollow" ')
urls = regex.findall(requests_html_doc)

# set集合可以防止下載的圖片重復(fù)
result = set()
for i in urls:
    result.add(i)

# 計(jì)數(shù)器用于圖片命名
num = 0

# 文件路徑、操作模式、編碼  # r''
# 打開文件錄入圖片
f = open(r'result.txt', 'w', encoding='utf-8')
for a in urls:
    try:
        image_data = requests.get(a).content
        image_name = '{}.jpg'.format(num)  # 給每張圖片命名
        save_path = path + '/' + image_name  # 圖片的保存地址
        with open(save_path, 'wb') as f:
            f.write(image_data)
            print(image_name, '=======================>下載成功?。。?)
            num = num+1  # 下一張圖片名字序號(hào)加一
    except:
        pass
# 關(guān)閉文件錄入
f.close()
print("\r\n掃描結(jié)果已寫入到result.txt文件中\(zhòng)r\n")

過程

借鑒代碼

自己從0開始,沒有頭緒,而且對(duì)python掌握度不高,那先借鑒別人的代碼開始,第一篇借鑒的代碼如下

# 引入系統(tǒng)類庫(kù)
import sys
# 使用文檔解析類庫(kù)
from bs4 import BeautifulSoup
# 使用網(wǎng)絡(luò)請(qǐng)求類庫(kù)
import urllib.request
path = 'D:/陰陽(yáng)師'

html_doc = "https://yys.163.com/media/picture.html"
# 獲取請(qǐng)求
req = urllib.request.Request(html_doc)
# 打開頁(yè)面
webpage = urllib.request.urlopen(req)

# 讀取頁(yè)面內(nèi)容
html = webpage.read()
# 解析成文檔對(duì)象
soup = BeautifulSoup(html, 'html.parser')  # 文檔對(duì)象

# 非法URL 1
invalidLink1 = '#'
# 非法URL 2
invalidLink2 = 'javascript:void(0)'
# set集合可以防止下載的圖片連接重復(fù)
result = set()
# 計(jì)數(shù)器用于圖片命名
num = 0
# 查找文檔中所有a標(biāo)簽
for k in soup.find_all('a'):
    # print(k)
    # 查找href標(biāo)簽
    link = k.get('href')
    # 過濾沒找到的
    if(link is not None):
        # 過濾非法鏈接
        if link == invalidLink1:
            pass
        elif link == invalidLink2:
            pass
        elif link.find("javascript:") != -1:
            pass
        else:
            result.add(link)

for a in result:
    # 文件路徑、操作模式、編碼  # r''
    f = open(r'result.txt', 'w', encoding='utf-8')
    # image_data = urllib.request.get(url=a).content
    image_data = requests.get(url=a).content
    image_name = '{}.jpg'.format(num)  # 給每張圖片命名
    save_path = path + '/' + image_name  # 圖片的保存地址
    with open(save_path, 'wb') as f:
        f.write(image_data)
        print(image_name, '=======================>下載成功?。?!')
        num = num+1  # 下一張圖片名字序號(hào)加一
        f.close()

print("\r\n掃描結(jié)果已寫入到result.txt文件中\(zhòng)r\n")

思考urllib.request和requests

借鑒的代碼中使用urllib.request來請(qǐng)求,剛開始學(xué)習(xí)看到的一些代碼實(shí)例也常用urllib.request來發(fā)起請(qǐng)求,之后看到有的代碼使用的是requests。對(duì)于我個(gè)人,主觀感受requests更加便捷,少寫了幾行代碼,于是便去查閱了解兩者的區(qū)別。

BeautifulSoup

接觸到了BeautifulSoup,并且在一些文章的評(píng)論中看到對(duì)BeautifulSoup的稱贊,進(jìn)入文檔查閱了下用法,改變了我之前對(duì)python,獲取文檔中部分特征的元素節(jié)點(diǎn)的寫法困難的印象。

Beautiful Soup 4.4.0 文檔

優(yōu)化處理

之所以要加正則匹配,因?yàn)橐婚_始獲取到的圖片鏈接里有空字符串的現(xiàn)象,在下載圖片的時(shí)候直接報(bào)錯(cuò)整個(gè)程序掛掉,而且這個(gè)借鑒代碼中的invalidLink1和invalidLink2看起來屬實(shí)不舒服。所以添加了正則從源頭保證鏈接的有效性,并且在執(zhí)行下載代碼中,添加了try,except保證程序出錯(cuò)也不會(huì)掛掉。

借鑒的代碼中每一次的下載,都會(huì)對(duì)要保存的目錄進(jìn)行打開和關(guān)閉,于是將打開關(guān)閉抽離到最外層,下載的邏輯放在里面,下載圖片成功的提速果然肉眼可見~

總結(jié)

壁紙確實(shí)不戳~,希望下一個(gè)學(xué)習(xí)的腳本能更加有趣~

以上就是Python 批量下載陰陽(yáng)師網(wǎng)站壁紙的詳細(xì)內(nèi)容,更多關(guān)于python 下載陰陽(yáng)師網(wǎng)站壁紙的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • 圖文詳解在Anaconda安裝Pytorch的詳細(xì)步驟

    圖文詳解在Anaconda安裝Pytorch的詳細(xì)步驟

    Anaconda指的是一個(gè)開源的Python發(fā)行版本,其包含了conda、Python等180多個(gè)科學(xué)包及其依賴項(xiàng),下面這篇文章主要給大家介紹了關(guān)于在Anaconda安裝Pytorch的詳細(xì)步驟,需要的朋友可以參考下
    2022-07-07
  • 使用scipy.optimize的fsolve,root函數(shù)求解非線性方程問題

    使用scipy.optimize的fsolve,root函數(shù)求解非線性方程問題

    這篇文章主要介紹了使用scipy.optimize的fsolve,root函數(shù)求解非線性方程問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2022-12-12
  • 基于Python編寫簡(jiǎn)易的成語(yǔ)接龍游戲

    基于Python編寫簡(jiǎn)易的成語(yǔ)接龍游戲

    成語(yǔ)接龍是中華民族傳統(tǒng)的文字游戲。它歷史悠久,是傳統(tǒng)文字、文化、文明的一個(gè)縮影,也是老少皆宜的民間文化娛樂活動(dòng)。本文將用Python制作一個(gè)簡(jiǎn)單的成語(yǔ)接龍游戲,需要的可以參考一下
    2022-03-03
  • Python利用imshow制作自定義漸變填充柱狀圖(colorbar)

    Python利用imshow制作自定義漸變填充柱狀圖(colorbar)

    這篇文章主要介紹了Python利用imshow制作自定義漸變填充柱狀圖(colorbar),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-12-12
  • python set內(nèi)置函數(shù)的具體使用

    python set內(nèi)置函數(shù)的具體使用

    這篇文章主要介紹了python set內(nèi)置函數(shù)的具體使用,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2019-07-07
  • pycharm雙擊無(wú)響應(yīng)(打不開問題解決辦法)

    pycharm雙擊無(wú)響應(yīng)(打不開問題解決辦法)

    這篇文章主要介紹了pycharm雙擊無(wú)響應(yīng)(打不開問題解決辦法),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-01-01
  • 如何利用Python統(tǒng)計(jì)正數(shù)和負(fù)數(shù)的個(gè)數(shù)

    如何利用Python統(tǒng)計(jì)正數(shù)和負(fù)數(shù)的個(gè)數(shù)

    Python檢查數(shù)據(jù)中的正/負(fù)數(shù)是一種常見的數(shù)據(jù)處理操作,可以通過編寫代碼來實(shí)現(xiàn),下面這篇文章主要給大家介紹了關(guān)于如何利用Python統(tǒng)計(jì)正數(shù)和負(fù)數(shù)的個(gè)數(shù)的相關(guān)資料,需要的朋友可以參考下
    2024-05-05
  • Python爬蟲文件下載圖文教程

    Python爬蟲文件下載圖文教程

    在本篇內(nèi)容里小編給大家分享的是關(guān)于Python爬蟲文件下載的相關(guān)知識(shí)點(diǎn)內(nèi)容,有需要的朋友們學(xué)習(xí)下。
    2018-12-12
  • python畫圖常見不同圖片格式保存方式

    python畫圖常見不同圖片格式保存方式

    這篇文章主要介紹了python畫圖常見不同圖片格式保存方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2023-09-09
  • python skimage 連通性區(qū)域檢測(cè)方法

    python skimage 連通性區(qū)域檢測(cè)方法

    今天小編就為大家分享一篇python skimage 連通性區(qū)域檢測(cè)方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
    2018-06-06

最新評(píng)論

大悟县| 乾安县| 金湖县| 四子王旗| 三江| 扎囊县| 汉川市| 镇雄县| 华安县| 贵港市| 峡江县| 离岛区| 理塘县| 平度市| 南雄市| 抚宁县| 依安县| 宜春市| 荔波县| 涡阳县| 诏安县| 法库县| 吉首市| 江陵县| 台中市| 龙海市| 常熟市| 大冶市| 德保县| 海安县| 西贡区| 秦安县| 枣庄市| 东平县| 保亭| 宿州市| 淮南市| 西丰县| 隆尧县| 馆陶县| 阿勒泰市|