假設(shè)有一個(gè) WebSocket 接口，會(huì)源源不斷地產(chǎn)生數(shù)據(jù)，我們需要將其保存下來(lái)，然后進(jìn)行處理。但由于數(shù)據(jù)量比較大，無(wú)法一次性加載到內(nèi)存，最好的辦法就是保存到文件里。

如果數(shù)據(jù)處理完畢，不再需要相關(guān)文件的話，那么我們可以使用臨時(shí)文件。臨時(shí)文件的最大好處就是，不用命名、并且關(guān)閉時(shí)會(huì)自動(dòng)刪除，而無(wú)需我們手動(dòng)刪。

下面我們來(lái)看看如何使用臨時(shí)文件。

import?tempfile

#?第一個(gè)參數(shù)是?mode，表示打開模式
#?默認(rèn)是?"wb+"，二進(jìn)制可讀可寫
f?=?tempfile.TemporaryFile()
#?假設(shè)我們寫?1G?的數(shù)據(jù)
f.write(b"+"?*?1024?*?1024?*?1024)
#?此時(shí)文件指針會(huì)移動(dòng)到末尾
#?想要讀取的話，需要移動(dòng)到開頭
f.seek(0,?0)
print(len(f.read()))
"""
1073741824
"""
print(1073741824?==?1024?*?1024?*?1024)
"""
True
"""

臨時(shí)文件和真實(shí)文件的操作方法是一樣的，因?yàn)榕R時(shí)文件本質(zhì)上也屬于文件，它的數(shù)據(jù)也存儲(chǔ)在系統(tǒng)上，只不過(guò)我們不知道罷了。當(dāng)調(diào)用 f.close()，臨時(shí)文件就會(huì)被自動(dòng)刪除，占用的磁盤空間也會(huì)被釋放。我們來(lái)驗(yàn)證一下：

import?psutil
import?tempfile

GB_UNIT?=?1024?*?1024?*?1024

#?臨時(shí)文件默認(rèn)存儲(chǔ)在?C?盤
#?我們查看已經(jīng)使用的空間
print(
????psutil.disk_usage("C:\\").used?/?GB_UNIT
)??#?89.93075561523438

f?=?tempfile.TemporaryFile()
#?寫?1G?的數(shù)據(jù)
f.write(b"+"?*?1024?*?1024?*?1024)

#?不出意外的話，應(yīng)該增加?1G
print(
????psutil.disk_usage("C:\\").used?/?GB_UNIT
)??#?90.93075561523438

#?關(guān)閉臨時(shí)文件，然后釋放磁盤空間
f.close()
#?所以又會(huì)減少?1G
print(
????psutil.disk_usage("C:\\").used?/?GB_UNIT
)??#?89.93075561523438

輸出一切正常，所以結(jié)論如下：

• 臨時(shí)文件本質(zhì)上也是文件，它在存儲(chǔ)數(shù)據(jù)的時(shí)候，也是存儲(chǔ)在磁盤上，和真實(shí)文件并無(wú)二致；
• 臨時(shí)文件的調(diào)用屬于操作系統(tǒng)級(jí)別的，所以它的創(chuàng)建、讀寫數(shù)據(jù)，最終都會(huì)走操作系統(tǒng)提供的系統(tǒng)調(diào)用；
• 臨時(shí)文件在被關(guān)閉時(shí)，操作系統(tǒng)會(huì)自動(dòng)刪除；

然后我們還可以指定臨時(shí)文件的存儲(chǔ)位置，雖然臨時(shí)文件關(guān)閉時(shí)會(huì)自動(dòng)刪除，但我們還是希望它能存儲(chǔ)在指定的位置上。

import?tempfile
import?time

f?=?tempfile.TemporaryFile(dir=r"E:\data")
time.sleep(30)

為了觀察到現(xiàn)象，這里 sleep 了 30 秒。執(zhí)行時(shí)，打開目錄，會(huì)發(fā)現(xiàn)文件創(chuàng)建了，并且操作系統(tǒng)幫我們起了個(gè)名字。

等 30 秒過(guò)后，文件又被自動(dòng)刪除了。

然后 TemporaryFile 里面還接收其它參數(shù)，我們來(lái)看一下：

大部分參數(shù)和內(nèi)置函數(shù) open 類似，但里面有一個(gè) prefix 和 suffix 參數(shù)。因?yàn)榕R時(shí)文件也是文件，也要存儲(chǔ)在磁盤上，只不過(guò)關(guān)閉之后會(huì)自動(dòng)刪除。所以它也要有一個(gè)名字，默認(rèn)名字的前綴是 "tmp"，沒有后綴，而我們可以指定前綴和后綴，舉個(gè)例子：

import?tempfile
import?time

f?=?tempfile.TemporaryFile(dir=r"E:\data",
???????????????????????????prefix="你好呀",
???????????????????????????suffix="我不好")
time.sleep(30)

執(zhí)行一下看看：

此時(shí)文件的前綴和后綴就被我們改掉了，不過(guò)說(shuō)實(shí)話這個(gè)前綴和后綴沒太大卵用，既然是臨時(shí)文件，用完就刪除了，名字沒太大關(guān)注的必要。

那么問(wèn)題來(lái)了，如果不指定 dir 參數(shù)，我們就不知道文件存在哪了嗎？顯然不是的，默認(rèn)存在什么地方，tempfile 已經(jīng)提前告訴我們了。

import?tempfile

#?Linux?系統(tǒng)是?/tmp
print(
????tempfile.gettempdir()
)??#?C:\Users\satori\AppData\Local\Temp
#?返回二進(jìn)制結(jié)果
print(
????tempfile.gettempdirb()
)??#?b'C:\\Users\\satori\\AppData\\Local\\Temp'

#?獲取前綴
print(
????tempfile.gettempprefix()
)??#?tmp
#?返回二進(jìn)制結(jié)果
print(
????tempfile.gettempprefixb()
)??#?b'tmp'

最后想說(shuō)的是，臨時(shí)文件也可以使用 mmap 進(jìn)行映射。

import?tempfile
import?mmap

f?=?tempfile.TemporaryFile()
f.write(b"hello,?world")
#?映射之前需要移動(dòng)一下光標(biāo)
f.seek(0,?0)
#?mmap?映射，這里就映射?5?字節(jié)
m?=?mmap.mmap(f.fileno(),?5)
m[:]?=?b"HELLO"

#?再次打印
print(f.read())
"""
b'HELLO,?world'
"""

以上就是臨時(shí)文件的用法，當(dāng)然 tempfile 還提供了其它的操作，有興趣可以了解一下，但使用最普遍的還是 TemporaryFile。

到此這篇關(guān)于Python利用臨時(shí)文件實(shí)現(xiàn)數(shù)據(jù)的保存的文章就介紹到這了,更多相關(guān)Python臨時(shí)文件保存數(shù)據(jù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論