淺談python寫入大量文件的問題
更新時間：2018年11月09日 09:01:37 作者：NesCafee
今天小編就為大家分享一篇淺談python寫入大量文件的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
今天準備把幾個txt文件合并成一個文件時，用f.write方法寫入時，發(fā)現(xiàn)程序執(zhí)行完了，本應該十萬行左右的txt記錄，實際上只被寫入了4k多行。
網上查了是因為程序執(zhí)行速度太快，以至于讀到內容還沒有完全寫入文件，文件就已經關閉了
方法一：加入緩沖區(qū)
f.flush() //operation os.fsync(output) f.close()
打開文件后執(zhí)行flush(),關閉文件前執(zhí)行os.fsync()確保緩沖區(qū)的內容都寫出去了。
方法二：用sleep
用了上述方法不行，因為我在打開文件后用了迭代輸出，可能會讓緩沖區(qū)爆炸，在循環(huán)中加入sleep函數可以確保每次循環(huán)都能將內容寫入
with open(outputfile,'a') as output:
for i in all_txt_name:
f =open(dir+'/'+i)
for a in f:
output.write(a)
time.sleep(0.00000001)
f.close()
后來發(fā)現(xiàn)：
txt文件如果太大，在pycharm中只會顯示一小部分，可能是指顯示了部分文件導致未以為文件沒寫進去，fuck
以上這篇淺談python寫入大量文件的問題就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
這篇文章主要介紹了Python中的元組與邏輯運算符的用法,是Python入門學習中的基礎知識,需要的朋友可以參考下2015-10-10
這篇文章主要介紹了Python中requests模塊的請求參數詳解,requests模塊是一個網絡請求模塊，可以幫助我們模擬成客戶端去請求服務器的數據,我們今天就是主要針對這個模塊進行學習,需要的朋友可以參考下2023-08-08
timeit 模塊是 Python 標準庫中的模塊，無需安裝，直接導入就可以使用。這篇文章主要介紹了Python timeit模塊的使用,需要的朋友可以參考下2020-01-01
這篇文章主要介紹了python猜單詞游戲的實現(xiàn)，從單詞列表中隨機選取一個單詞，讓玩家猜測，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2022-01-01
mac系統(tǒng)下安裝pycharm、永久激活、中文漢化詳細教程
這篇文章主要介紹了mac系統(tǒng)下安裝pycharm、永久激活、中文漢化詳細教程,需要的朋友可以參考下2020-11-11
這篇文章主要介紹了如何在Python中對文件進行操作，文章圍繞主題展開內容，即使用Python中內置的open()函數來打開文件，返回文件對象，并對文件進行處理2022-08-08
這篇文章主要介紹了python開發(fā)實時可視化儀表盤的示例，幫助大家更好的理解和學習使用python，感興趣的朋友可以了解下2021-05-05
這篇文章主要介紹了Python drop方法刪除列之inplace參數實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06
這篇文章主要介紹了?python?中的?module?和?package?，文章基于Python的相關資料展開對主題的詳細介紹，具有一定的參考價值，需要的小伙伴可以參考一下2022-04-04
這篇文章主要介紹了Python pickle模塊實現(xiàn)對象序列化,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-11-11