如何解決PyTorch程序占用較高CPU問題
PyTorch程序占用較高CPU問題
在使用服務(wù)器運行PyTorch程序時，使用TOP命令查看CPU狀態(tài)，發(fā)現(xiàn)CPU占用率竟然達到2000%，已經(jīng)影響到其他人正常使用服務(wù)器。
解決辦法
在main程序中加以下代碼：
torch.set_num_threads(1)
設(shè)置最多使用1個CPU核。
問題解決~
pytorch訓練占用cpu過高，num_works和set_num_threads設(shè)置均無效，發(fā)現(xiàn)是數(shù)據(jù)擴增問題
這是我使用pytorch訓練模型的時候，出現(xiàn)cpu占用過多的情況，無關(guān)pytorch版本
dataloader 的 num_work=1 的時候單線程cpu占用量2800，也就是一半的cpu，我服務(wù)器一共28*2個邏輯cpu
dataloader 的 num_work=8 的時候8個線程cpu占用500-700，合計2800
使用網(wǎng)上教程的如下指令，沒有任何效果
cpu_num = 1
os.environ["OMP_NUM_THREADS"] = str(cpu_num)
os.environ["OPENBLAS_NUM_THREADS"] = str(cpu_num)
os.environ["MKL_NUM_THREADS"] = str(cpu_num)
os.environ["VECLIB_MAXIMUM_THREADS"] = str(cpu_num)
os.environ["NUMEXPR_NUM_THREADS"] = str(cpu_num)
torch.set_num_threads(cpu_num)最后發(fā)現(xiàn)是數(shù)據(jù)擴增惹的禍，我是用的數(shù)據(jù)擴增庫是albumentations，其中所使用的基于opencv的各種數(shù)據(jù)變換占用了太多的cpu，因此只需要限制opencv的線程數(shù)目則可：
import cv2 import albumentations cv2.setNumThreads(1) # 0也可以
再設(shè)置 dataloader 的 num_work=2 的情況
雖然不清楚這里為什么有3個，但目的達成了，而且訓練速度和cpu占用2800的時候一樣。
在albumentations的github網(wǎng)址也有相關(guān)聯(lián)的一小段說明，但不是本篇文章遇到的問題， cv2.ocl.setUseOpenCL(False) 對于本篇文章問題可以不加。
總結(jié)
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
python使用numpy讀取、保存txt數(shù)據(jù)的實例
今天小編就為大家分享一篇python使用numpy讀取、保存txt數(shù)據(jù)的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-10-10
Python基于Pymssql模塊實現(xiàn)連接SQL Server數(shù)據(jù)庫的方法詳解
這篇文章主要介紹了Python基于Pymssql模塊實現(xiàn)連接SQL Server數(shù)據(jù)庫的方法,較為詳細的分析了pymssql模塊的下載、安裝及連接、操作SQL Server數(shù)據(jù)庫的相關(guān)實現(xiàn)技巧,需要的朋友可以參考下2017-07-07
本文主要介紹了Python中namedtuple 命名元祖的使用，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-04-04
今天小編就為大家分享一篇關(guān)于Python中的元組介紹，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧2021-08-08
這篇文章主要介紹了深入解析Python中的多進程，“Python中的多進程是通過multiprocessing包來實現(xiàn)的,和多線程的threading.Thread差不多,它可以利用multiprocessing.Process對象來創(chuàng)建一個進程對象2022-06-06
詳解在python中如何使用zlib模塊進行數(shù)據(jù)壓縮和解壓縮
Python有一些內(nèi)置庫用于處理數(shù)據(jù)壓縮和解壓縮，其中一個就是zlib模塊，這個模塊為DEFLATE壓縮算法和相關(guān)的gzip（文件格式）提供了支持，在這篇文章中，我們將深入探討如何使用zlib模塊進行數(shù)據(jù)壓縮和解壓縮2023-06-06
這篇文章主要為大家詳細介紹了python實現(xiàn)飛機大戰(zhàn)項目，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2020-03-03
前段時間爬取的知乎表情包用完了嗎？今天再帶大家去微博爬一波表情包吧.文中有非常詳細的代碼示例,廢話不多說,讓我們愉快地開始吧,需要的朋友可以參考下2021-06-06
這篇文章主要介紹了pandas之query方法和sample隨機抽樣操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-03-03
使用Python輕松實現(xiàn)隱藏、顯示和修改Excel網(wǎng)格線
在數(shù)據(jù)處理和報表制作中,Excel 是最常用的工具之一,而網(wǎng)格線（Gridlines）作為 Excel 默認的背景輔助線,本文將介紹如何使用 Spire.XLS for Python 庫,通過簡單的代碼實現(xiàn) Excel 網(wǎng)格線的隱藏/顯示以及顏色修改快跟隨小編一起學習一下吧2026-03-03