python3+selenium獲取頁面加載的所有靜態(tài)資源文件鏈接操作

更新時(shí)間：2020年05月04日 17:16:11 作者：舉個(gè)栗子不容易

這篇文章主要介紹了python3+selenium獲取頁面加載的所有靜態(tài)資源文件鏈接操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧

軟件版本：

python 3.7.2

selenium 3.141.0

pycharm 2018.3.5

具體實(shí)現(xiàn)流程如下，廢話不多說，直接上代碼：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

d = DesiredCapabilities.CHROME
chrome_options = Options()
#使用無頭瀏覽器
chrome_options.add_argument('--headless')
chrome_options.add_argument('--user-agent=Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36')
#瀏覽器啟動(dòng)默認(rèn)最大化
chrome_options.add_argument("--start-maximized");
#該處替換自己的chrome驅(qū)動(dòng)地址
browser = webdriver.Chrome("D://googleDever//chromedriver.exe",chrome_options=chrome_options,desired_capabilities=d)
browser.set_page_load_timeout(150)
browser.get("https://www.xxx.com")
#靜態(tài)資源鏈接存儲(chǔ)集合
urls = []
#獲取靜態(tài)資源有效鏈接
for log in browser.get_log('performance'):
	 if 'message' not in log:
			continue
	 log_entry = json.loads(log['message'])
	 try:
		#該處過濾了data:開頭的base64編碼引用和document頁面鏈接
			if "data:" not in log_entry['message']['params']['request']['url'] and 'Document' not in log_entry['message']['params']['type']:
				urls.append(log_entry['message']['params']['request']['url'])
	 except Exception as e:
			pass
 print(urls)

打印結(jié)果為頁面渲染時(shí)加載的靜態(tài)資源文件鏈接：

[http://www.xxx.com/aaa.js,http://www.xxx.com/css.css]

以上代碼為selenium獲取頁面加載過程中預(yù)加載的各類靜態(tài)資源文件鏈接，使用該功能獲取到鏈接后，使用其他插件進(jìn)行可對(duì)資源進(jìn)行下載！

補(bǔ)充知識(shí)：在idea 中python import sys，import requests 報(bào)錯(cuò)

File->Project Structure

project -> sdk -> new -> ok

設(shè)置編譯參數(shù)（主要是設(shè)置和檢查Python JDK是否正確）

以上這篇python3+selenium獲取頁面加載的所有靜態(tài)資源文件鏈接操作就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

PyQt5之基礎(chǔ)框架解讀
這篇文章主要介紹了PyQt5之基礎(chǔ)框架,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
2024-02-02
基于Python實(shí)現(xiàn)繪制一個(gè)足球
這篇文章主要為大家詳細(xì)介紹了如何基于Python實(shí)現(xiàn)繪制一個(gè)簡單的足球，文中的示例代碼講解詳細(xì)，具有一定的借鑒價(jià)值，感興趣的可以嘗試一下
2023-02-02
在VScode中配置Python開發(fā)環(huán)境的超詳細(xì)指南
在使用VSCode編寫Python代碼前,我們需要先配置Python環(huán)境,這篇文章主要給大家介紹了關(guān)于在VScode中配置Python開發(fā)環(huán)境的相關(guān)資料,需要的朋友可以參考下
2023-12-12
使用pandas讀取表格數(shù)據(jù)并進(jìn)行單行數(shù)據(jù)拼接的詳細(xì)教程
這篇文章主要介紹了使用pandas讀取表格數(shù)據(jù)并進(jìn)行單行數(shù)據(jù)拼接的詳細(xì)教程，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2021-03-03
Python利用flask操作Redis的方法詳解
這篇文章主要為大家詳細(xì)介紹了Python如何利用flask操作Redis，文中的示例代碼講解詳細(xì)，對(duì)我們學(xué)習(xí)Python有一定的幫助，需要的可以參考一下
2023-02-02
PyQt5 designer 頁面點(diǎn)擊按鈕跳轉(zhuǎn)頁面實(shí)現(xiàn)
本文主要介紹了PyQt5 designer 頁面點(diǎn)擊按鈕跳轉(zhuǎn)頁面實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2022-01-01
python設(shè)置環(huán)境變量的原因和方法
在本篇文章中我們給大家整理了關(guān)于python為什么要設(shè)置環(huán)境變量的相關(guān)知識(shí)點(diǎn)，有興趣的朋友們參考下。
2019-06-06
淺談Python由__dict__和dir()引發(fā)的一些思考
這篇文章主要介紹了淺談Python由__dict__和dir()引發(fā)的一些思考，具有一定參考價(jià)值，需要的朋友可以了解下。
2017-10-10
Python帶你從淺入深探究Tuple(基礎(chǔ)篇)
大家都知道Python中的元組容器序列（tuple）與列表容器序列（list）有很多相同之處，他們雖然都可以存儲(chǔ)任意類型的數(shù)據(jù)，但是一個(gè)元組定義好之后就不能夠再進(jìn)行修改，對(duì)Python Tuple相關(guān)知識(shí)感興趣的朋友一起看看吧
2021-05-05
PIP安裝python包出現(xiàn)超時(shí)問題的解決
這篇文章主要介紹了PIP安裝python包出現(xiàn)超時(shí)問題的解決，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2021-03-03