使用Python設置tmpfs來加速項目的教程
對我當前工程進行全部測試需要花費不少時間。既然有 26 GB 空閑內(nèi)存，為何不讓其發(fā)揮余熱呢? tmpfs 可以通過把文件系統(tǒng)保存在大內(nèi)存中來加速測試的執(zhí)行效率。
但優(yōu)點也是缺點，tmpfs 只把結(jié)果保存在內(nèi)存中，所以你必須自己編寫腳本來把結(jié)果回寫到磁盤上進行保留。而且這些腳本必須良好書寫和執(zhí)行，否則就要失去部分或全部的工作成果了。
一種常見的方法是直接在tmpfs文件夾中工作，然后把工作成果備份到磁盤上的一個文件夾中。當您的機器啟動時你從那個備份文件夾恢復tmpfs文件夾。啟動之后用cron同步tmpfs文件夾和磁盤文件夾。
我發(fā)現(xiàn)這個設置有點復雜容易出錯。在啟動的時候，或者對于crom，我從沒有真正的相信?，F(xiàn)在我用一種簡單得多的設置，根本不用cron。
在我的機器上運行一個單項測試，使用IDE并發(fā)布于web服務器，其性能通常是合理的，只有運行全部測試需要許多時間。
我發(fā)現(xiàn)最佳之處是在磁盤上設置一個workspace，與/dev/shmand目錄下運行所有測試的tmpfs同步。這或多或少使我的設置無需改變，并消除了可能松散的工作，這些僅僅是因為我在正確設置方面太垃圾了。
性能提升的結(jié)果是合理的:
$ nosetests && run_tests.py ........................................................................................................................................................................................................................................................ ---------------------------------------------------------------------- Ran 248 tests in 107.070s OK ........................................................................................................................................................................................................................................................ ---------------------------------------------------------------------- Ran 248 tests in 19.423s OK
現(xiàn)在比原來提高了 5 倍速度。
使用 python 來進行設置非常簡單:
#!/bin/bash -e
WORK=src/py
LOG=$(pwd)/test.log
TARGET=$(hg root)
SHADOW=/dev/shm/shadow/$TARGET
date > $LOG
mkdir -p $SHADOW
cd $SHADOW
rsync --update --delete --exclude=".*" --exclude=ENV --archive $TARGET ./..
if [ ! -d ENV ]
then
virtualenv ENV
fi
. ENV/bin/activate
cd $WORK
python setup.py develop >> $LOG
nosetests $* | tee -a $LOG
exit ${PIPESTATUS[0]}
我只要重復同步到/dev/shm目錄，設置測試環(huán)境（virtualenv and python setup.PY）和運行測試（nosetests）。
在tmpfs文件夾里仍可用命令行運行單個測試。也可以把這個從你的IDE中踢走，但你會失去你的測試運行和調(diào)試的能力。如我之前所說，我現(xiàn)在不需要這些。
我希望我對tmpfs的這個變通使用能幫助你建立一個更快速的開發(fā)環(huán)境，而無須遭受所有的腳本麻煩。
相關(guān)文章
這篇文章主要為大家介紹了python區(qū)塊鏈簡易版交易實現(xiàn)示例，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-05-05
這篇文章主要介紹了在?Python?中將天數(shù)添加到日期,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2023-03-03
torch.unsqueeze()函數(shù)起到升維的作用,dim等于幾表示在第幾維度加一,這篇文章主要介紹了對torch.unsqueeze()函數(shù)理解深度解析,感興趣的朋友跟隨小編一起看看吧2024-06-06
這篇文章主要介紹了用Python編寫一個高效的端口掃描器的方法，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-12-12
python 實現(xiàn)百度網(wǎng)盤非會員上傳超過500個文件的方法
這篇文章主要介紹了python 實現(xiàn)百度網(wǎng)盤非會員上傳超過500個文件的方法，幫助大家更好的利用python解決問題，感興趣的朋友可以了解下2021-01-01
這篇文章主要介紹了Python?VTK映射三維模型表面距離，通過如何使用VTK讀取圖片計算兩個三維模型(stl)的表面距離，并將其距離值映射到模型上展開主題,需要的朋友可以參考一下2022-04-04
這篇文章主要介紹了Python3多目標賦值及共享引用注意事項，本文通過實例代碼給大家介紹的非常詳細，具有一定的參考借鑒價值,需要的朋友可以參考下2019-05-05
這篇文章主要介紹了pymysql模塊使用的相關(guān)資料，幫助大家更好的利用python操作MySQL數(shù)據(jù)庫，感興趣的朋友可以了解下2020-11-11
Python如何用str.format()批量生成網(wǎng)址(豆瓣讀書為例)
這篇文章主要介紹了Python如何用str.format()批量生成網(wǎng)址(豆瓣讀書為例)，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-09-09
這篇文章主要介紹了python 全文檢索引擎詳解的相關(guān)資料,需要的朋友可以參考下2017-04-04