Python爬蟲實現(xiàn)爬取下載網(wǎng)站數(shù)據(jù)的幾種方法示例
引言
使用腳本進行下載的需求很常見,可以是常規(guī)文件、web頁面、Amazon S3和其他資源。Python 提供了很多模塊從 web 下載文件。下面介紹
一、使用 requests
requests 模塊是模仿網(wǎng)頁請求的形式從一個URL下載文件
示例代碼:
import requests
url = 'xxxxxxxx' # 目標(biāo)下載鏈接
r = requests.get(url) # 發(fā)送請求
# 保存
with open ('r.txt', 'rb') as f:
f.write(r.content)
f.close二、使用 wget
安裝 wget 庫
pip install wget
示例代碼
import wget url = 'https://pic.cnblogs.com/avatar/1197773/20170712160655.png' # 目標(biāo)路由,下載的資源是圖片 path = 'D:/x.png' # 保存的路徑 wget.download(url, path) # 下載
三、下載重定向資源
有些 URL 會被重定向到另一個 URL,后者是真正的下載鏈接。很多軟件的下載其實都是這樣的形式。
URL看起來如下https://readthedocs.org/projects/python-guide/downloads/pdf/latest
重定向的 URL 也可以用 requests 庫進行下載,只需加一個參數(shù)就可以
import requests
url = 'https://readthedocs.org/projects/python-guide/downloads/pdf/latest'
# allow_redirect參數(shù)True表示允許重定向
r = requests.get(url, allow_redirect=True)
with open('r.txt', 'wb') as f:
f.write(r)
f.close()四、大文件分塊下載
有些文件非常的大,如果我們直接下載,可能會因為事件原因或者網(wǎng)絡(luò)原因造成下載失敗,這時候我可以使用分塊下載的形式進行下載。
requests 支持分塊下載,只需要將 stream 設(shè)為True 即可
import requests
url = 'https://readthedocs.org/projects/python-guide/downloads/pdf/latest'
# stream參數(shù)True表示分塊下載
r = requests.get(url, stream=True)
with open('r.txt', 'wb') as f:
for ch in r:
f.write(r)
f.close()五、并行下載
多線程、多進程并發(fā)下載,大大提高下載速度
import requests
from multiprocessing.poll import Pool
# 定義下載函數(shù)
def url_response(url):
path, url = url
r = requests.get(url, stream=True)
with open(path, 'wb') as f:
for ch in r:
f.write(ch)
f.close()
urls = ['aaa', 'bbb', 'ccc'] # 假設(shè)有好多個下載鏈接
# 排隊下載的方式
for x in urls:
url_response(x)
# 并行下載的方式
ThreadPool(3).imap_unordered(url_response, urls)六、下載中加入進度條
使用進度條更直觀的查看下載進度,這里使用 clint 模塊實現(xiàn)進度條功能
pip install clint
下載
import requests
from clint.textui import progess
url = 'xxxxxxxxxxx'
r = requests.get(url, stream=True)
with open('x.txt', 'wb') as f
total_length = int(r.headers.get('content-length'))
for ch in progress.bar(r.iter_content(chunk_size=2391975, expected)size=(total_length/1024)+1)):
if ch:
f.write(ch)
f.close()七、使用 urllib 模塊下載
urllib庫是Python的標(biāo)準(zhǔn)庫,因此不需要安裝它。
下載代碼
urllib.request.urlretrieve(URL, PATH)
八、通過代理下載
因為一些眾所周知的原因我們下載國外的資源會非常的慢,這時候可以使用代理的方式進行下載
requests 模塊使用代理
import requests
# 定義代理,假設(shè)本機上有個梯子的服務(wù),代理端口是2258
proxy = {'http': 'http://127.0.0.1:2258'}
url = 'xxxxxx'
r = requests.get(url, proxies=proxy )
.......urllib 模塊使用代理
import urllib.request
#Python小白學(xué)習(xí)交流群:153708845
url = 'xxxxxxxxxx'
proxy = urllib.request.ProxyHandler({'http': '127.0.0.1'})
open_proxy = urllib.request.build_opener(proxy ) # 打開代理
urllib.request.urlretrieve(url)九、使用 urllib3
urllib3 是 urllib 模塊的改進版本。使用pip下載并安裝
pip install urllib3
以上就是Python爬蟲實現(xiàn)爬取下載網(wǎng)站數(shù)據(jù)的幾種方法示例的詳細(xì)內(nèi)容,更多關(guān)于Python爬取下載網(wǎng)站數(shù)據(jù)的資料請關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
PyTorch中Tensor的數(shù)據(jù)類型和運算的使用
這篇文章主要介紹了PyTorch中Tensor的數(shù)據(jù)類型和運算的使用,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-09-09
Python使用multiprocessing實現(xiàn)一個最簡單的分布式作業(yè)調(diào)度系統(tǒng)
mutilprocess像線程一樣管理進程,這個是mutilprocess的核心,他與threading很是相像,對多核CPU的利用率會比threading好的多,通過本文給大家介紹Python使用multiprocessing實現(xiàn)一個最簡單的分布式作業(yè)調(diào)度系統(tǒng),需要的朋友參考下2016-03-03
python yolo混合文件xml和img整理/回顯yolo標(biāo)注文件方式
本文介紹了如何根據(jù)XML文件中的標(biāo)簽順序進行索引轉(zhuǎn)換,并提供了一種自定義標(biāo)簽轉(zhuǎn)格式的方法,以回顯YOLO標(biāo)注文件2026-01-01
python實現(xiàn)批量處理將圖片粘貼到另一張圖片上并保存
今天小編就為大家分享一篇python實現(xiàn)批量處理將圖片粘貼到另一張圖片上并保存,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12
Python實現(xiàn)線性判別分析(LDA)的MATLAB方式
今天小編大家分享一篇Python實現(xiàn)線性判別分析(LDA)的MATLAB方式,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12

