基于python實現獲取網頁圖片過程解析
更新時間：2020年05月11日 10:18:57 作者：哈哈哈天蝎
這篇文章主要介紹了基于python實現獲取網頁圖片過程解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
環(huán)境：python3， 要安裝bs4這個第三方庫
獲取請求頭的方法
這里使用的是Chrome瀏覽器。
打開你想查詢的網站，按F12，或者鼠標右鍵一下選擇檢查。會彈出如下的審查元素頁面：
然后點擊上方選項中的Network選項：
此時在按Ctrl+R:
選擇下方框中的第一個，單擊：
選擇Headers選項，其中就會有Request Headers，包括你需要的信息。
介紹：這個程序是用來批量獲取網頁的圖片，用于新手入門
注意：由于是入門的程序在獲取某些網頁的圖片時會出問題?。。。。?/p>
import os
import urllib.request
from bs4 import BeautifulSoup
# 網址
url = "http://www2017.tyut.edu.cn/"
# 建立請求對象
request = urllib.request.Request(url)
# 加入請求頭（一定要換成自己的?。。。。?
request.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36')
# 獲取請求
code = urllib.request.urlopen(request)
# 得到html代碼
html = code.read().decode('utf-8')
# 將html的標簽轉成對象（方便后面的操作）
bs = BeautifulSoup(html, 'html.parser')
# 提取所有的img標簽
imagesUrl = bs.find_all('img')
sources = []
# 建立存放的路徑（路徑一定要存在?。。。。。。?
filepath = os.getcwd() + '\\images\\'
def createFile(path: str, fpath):
urllib.request.urlretrieve(path, fpath)
# 獲取圖片的路徑(網址+img標簽的src屬性的值)
for img in imagesUrl:
sources.append(url + str(img.get('src')))
for src in sources:
# 用split是防止請求帶參
baseName = os.path.basename(src).split('?')
# 圖片名
fileName = filepath + baseName[0]
print("url=" + src, "filename=" + fileName)
createFile(src, fileName)
print('這次您一共下載了圖片' + str(len(sources)) + '張')
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關文章
這篇文章主要介紹了Python常用基礎模塊之os.path模塊詳解,os模塊的子模塊os.path 是專門用于進行路徑操作的模塊,常用的路徑操作主要有判斷目錄是否存在、創(chuàng)建目錄、刪除目錄和遍歷目錄等,需要的朋友可以參考下2023-08-08
這篇文章主要介紹了Pytorch如何把Tensor轉化成圖像可視化問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-12-12
這篇文章主要介紹了Python 集合中的字典，下面文章關于python中的集合和字典的相關內容敘述詳細，具有一定的參考價值，需要的小伙伴可以參考一下，希望對你的學習有所幫助2022-03-03
在本篇文章里小編給大家分享的是一篇關于python pipeline的用法及避坑點，有需要的朋友們可以跟著學習下。2021-07-07
這篇文章主要為大家詳細介紹了Python如何利用tkinter實現一個簡單的繪圖風格控件,文中的示例代碼講解詳細,感興趣的小伙伴可以學習一下2023-09-09
現在為了防止反爬，前端使用的反爬技術比較多的是js代碼混淆。python作為爬蟲界的扛把子，免不了和js打交道，因此我們需要了解如何使用Python執(zhí)行js代碼2021-05-05
今天小編就為大家分享一篇python匹配兩個短語之間的字符實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12
這篇文章主要介紹了python 編碼中為什么要寫類型注解，幫助大家更好的理解和學習使用python，感興趣的朋友可以了解下2021-03-03
因為工作，需要抓取微博內容。在百度上找到多篇關于用Python實現抓取新浪微博的文章，但似乎都不湊效，還是自己來吧，俗話說自己動手豐衣足食嘛2014-07-07
這篇文章主要介紹了Python對列表排序的方法,實例分析了Python列表排序函數的相關使用技巧,非常簡單實用,需要的朋友可以參考下2015-05-05