python數(shù)據(jù)爬下來保存的位置
昨天下班后忽然興起想寫一個(gè)爬蟲抓抓網(wǎng)頁上的東西?；艘粋€(gè)鐘簡(jiǎn)單學(xué)習(xí)了python的基礎(chǔ)語法，然后參照網(wǎng)上的例子自己寫了個(gè)爬蟲。
python數(shù)據(jù)爬下來保存在本地，一般是文件或數(shù)據(jù)庫中，但是文件形式相比要更加簡(jiǎn)單，如果只是自己寫爬蟲玩，可以用文件形式來保存數(shù)據(jù)。
#coding=utf-8
import urllib.request
import re
import os
'''
Urllib 模塊提供了讀取web頁面數(shù)據(jù)的接口，我們可以像讀取本地文件一樣讀取www和ftp上的數(shù)據(jù)
urlopen 方法用來打開一個(gè)url
read方法 用于讀取Url上的數(shù)據(jù)
'''
def getHtml(url):
page = urllib.request.urlopen(url);
html = page.read();
return html;
def getImg(html):
imglist = re.findall('img src="(http.*?)"',html
return imglist
html = getHtml("https://www.zhihu.com/question/34378366").decode("utf-8");
imagesUrl = getImg(html);
if os.path.exists("D:/imags") == False:
os.mkdir("D:/imags");
count = 0;
for url in imagesUrl:
print(url)
if(url.find('.') != -1):
name = url[url.find('.',len(url) - 5):];
bytes = urllib.request.urlopen(url);
f = open("D:/imags/"+str(count)+name, 'wb');
f.write(bytes.read());
f.flush();
f.close();
count+=1
經(jīng)測(cè)試，基本功能還是可以實(shí)現(xiàn)的。花的較多的時(shí)間就是正則匹配哪里，因?yàn)樽约簩?duì)正則表達(dá)式也不是非常熟悉。所以還是花了點(diǎn)時(shí)間。
注：上面的程序基于 python 3.5。python3 和 python2 還是有些區(qū)別的。我剛開始看基礎(chǔ)語法的時(shí)候就栽了一些坑里。
以上就是python數(shù)據(jù)爬下來保存在哪里的詳細(xì)內(nèi)容，感謝大家的學(xué)習(xí)和對(duì)腳本之家的支持。
相關(guān)文章
Python實(shí)現(xiàn)GIF動(dòng)圖以及視頻卡通化詳解
本文主要介紹了如何使用Python中的animegan2-pytorch實(shí)現(xiàn)動(dòng)圖以及視頻的卡通化效果，文中的代碼具有一定的學(xué)習(xí)價(jià)值，需要的朋友可以參考一下2021-12-12
python實(shí)現(xiàn)畫五角星和螺旋線的示例
今天小編就為大家分享一篇python實(shí)現(xiàn)畫五角星和螺旋線的示例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-01-01
Python入門之三角函數(shù)sin()函數(shù)實(shí)例詳解
這篇文章主要介紹了Python入門之三角函數(shù)sin()函數(shù)實(shí)例詳解，分享了相關(guān)實(shí)例，具有一定參考價(jià)值，需要的朋友可以了解下。2017-11-11
這篇文章主要介紹了詳解torch.Tensor的4種乘法，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-09-09
python識(shí)別文字(基于tesseract)代碼實(shí)例
這篇文章主要介紹了python識(shí)別文字(基于tesseract)代碼實(shí)例,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-08-08
python政策網(wǎng)字體反爬實(shí)例(附完整代碼)
大家好，本篇文章主要講的是python政策網(wǎng)字體反爬實(shí)例（附完整代碼），感興趣的同學(xué)趕快來看一看吧，對(duì)你有幫助的話記得收藏一下2022-01-01
pytorch更新tensor中指定index位置的值scatter_add_問題
這篇文章主要介紹了pytorch更新tensor中指定index位置的值scatter_add_問題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-06-06
詳解Python使用simplejson模塊解析JSON的方法
這篇文章主要介紹了Python使用simplejson模塊解析JSON的方法,實(shí)例代碼基于Pyhton2.x版本,文中最后還附了關(guān)于simplejson模塊的一些性能放面的討論,需要的朋友可以參考下2016-03-03
這篇文章主要介紹了Python Numpy中ndarray的常見操作，NumPy是Python的一種開源的數(shù)值計(jì)算擴(kuò)展，更多詳細(xì)內(nèi)容需要的朋友可以參考一下2022-07-07
Java ExcutorService優(yōu)雅關(guān)閉方式解析
這篇文章主要介紹了Java ExcutorService優(yōu)雅關(guān)閉方式解析,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-05-05