簡(jiǎn)介

nvidia-smi - NVIDIA System Management Interface program

nvidia smi（也稱為NVSMI）為來自 Fermi 和更高體系結(jié)構(gòu)系列的 nvidia Tesla、Quadro、GRID 和 GeForce 設(shè)備提供監(jiān)控和管理功能。GeForce Titan系列設(shè)備支持大多數(shù)功能，為GeForce品牌的其余部分提供的信息非常有限。NVSMI是一種跨平臺(tái)工具，支持所有標(biāo)準(zhǔn)NVIDIA驅(qū)動(dòng)程序支持的Linux發(fā)行版，以及從Windows Server 2008 R2開始的64位版本的Windows。

詳細(xì)的信息可以去手冊(cè)中查找：man nvidia-smi。

?nvidia-smi

NVIDIA 系統(tǒng)管理介面 （nvidia-smi） 是一個(gè)命令行工具，基於 NVIDIA Management Library （NVML） 之勝，旨在協(xié)助管理和監(jiān)控 NVIDIA GPU 設(shè)備。

此實(shí)用程序允許管理員查詢 GPU 設(shè)備狀態(tài)，并允許管理員使用適當(dāng)?shù)臋?quán)限修改 GPU 設(shè)備狀態(tài)。它針對(duì)Tesla, GRID, Quadro和 Titan X 產(chǎn)品，但其他 NVIDIA GPU 也提供有限的支持。

NVIDIA-smi 在 Linux 上附帶 NVIDIA GPU 顯示驅(qū)動(dòng)程序，以及 64 位 Windows Server 2008 R2 和 Windows 7。Nvidia-smi 可以將查詢信息報(bào)告為 XML 或人類可讀的純文本到標(biāo)準(zhǔn)輸出或文件。有關(guān)更多詳細(xì)信息，請(qǐng)參閱 nvidia-smi 文檔。

?常用nvidia-smi命令顯示GPU所有信息

nvidia-smi

間隔1秒刷新GPU信息

nvidia-smi -l 1

列出當(dāng)前所有GPU設(shè)備

nvidia-smi -L

查看當(dāng)前的 GPU 時(shí)鐘速度、默認(rèn)時(shí)鐘速度和最大可能的時(shí)鐘速度

nvidia-smi -q -d CLOCK

PS：

nvidia-smi 命令

直接在命令行輸入 nvidia-smi 命令應(yīng)該是各位煉丹師再熟悉不過的命令了。

注意：建議使用 watch -n 0.5 nvidia-smi 來動(dòng)態(tài)地觀察 GPU 的狀態(tài)。

通過 nvidia-smi 命令，我們會(huì)得到這樣一個(gè)信息豐富的頁面：

Tue Nov  9 13:47:51 2021
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 495.44       Driver Version: 495.44       CUDA Version: 11.5     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ...  Off  | 00000000:17:00.0 Off |                  N/A |
| 62%   78C    P2   155W / 170W |  10123MiB / 12051MiB |    100%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
|   1  NVIDIA GeForce ...  Off  | 00000000:65:00.0 Off |                  N/A |
|100%   92C    P2   136W / 170W |  10121MiB / 12053MiB |     99%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
|   2  NVIDIA GeForce ...  Off  | 00000000:B5:00.0 Off |                  N/A |
| 32%   34C    P8    12W / 170W |      5MiB / 12053MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
|   3  NVIDIA GeForce ...  Off  | 00000000:B6:00.0 Off |                  N/A |
| 30%   37C    P8    13W / 170W |      5MiB / 12053MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A      1258      G   /usr/lib/xorg/Xorg                  6MiB |
|    0   N/A  N/A     10426      C   ...a3/envs/JJ_env/bin/python    10111MiB |
|    1   N/A  N/A      1258      G   /usr/lib/xorg/Xorg                  4MiB |
|    1   N/A  N/A     10427      C   ...a3/envs/JJ_env/bin/python    10111MiB |
|    2   N/A  N/A      1258      G   /usr/lib/xorg/Xorg                  4MiB |
|    3   N/A  N/A      1258      G   /usr/lib/xorg/Xorg                  4MiB |
+-----------------------------------------------------------------------------+

其中顯存占用和 GPU 利用率當(dāng)然是我們最常來查看的參數(shù)，但是在一些情況下（比如要重點(diǎn)監(jiān)控 GPU 的散熱情況時(shí)）其他參數(shù)也很有用，筆者簡(jiǎn)單總結(jié)了一下該命令輸出的各個(gè)參數(shù)的含義如下圖：

可以看到其中各個(gè)位置的對(duì)應(yīng)含義在輸出本身中其實(shí)都已經(jīng)指出了（藍(lán)框），紅框則指出了輸出各個(gè)部分的含義，大部分輸出的作用一目了然，這里筆者將其中幾個(gè)不那么直觀的參數(shù)簡(jiǎn)單整理一下：

• Fan：從0到100%之間變動(dòng)，這個(gè)速度是計(jì)算機(jī)期望的風(fēng)扇轉(zhuǎn)速，實(shí)際情況下如果風(fēng)扇堵轉(zhuǎn)，可能打不到顯示的轉(zhuǎn)速。
• Perf：是性能狀態(tài)，從P0到P12，P0表示最大性能，P12表示狀態(tài)最小性能。
• Persistence-M：是持續(xù)模式的狀態(tài)，持續(xù)模式雖然耗能大，但是在新的GPU應(yīng)用啟動(dòng)時(shí)，花費(fèi)的時(shí)間更少，這里顯示的是off的狀態(tài)。
• Disp.A：Display Active，表示GPU的顯示是否初始化。
• Compute M：是計(jì)算模式。
• Volatile Uncorr. ECC：是否開啟 ECC 糾錯(cuò)。
• type：進(jìn)程類型。C 表示計(jì)算進(jìn)程，G 表示圖形進(jìn)程，C+G 表示都有。

nvidia-smi 命令的其他參數(shù)

除了直接運(yùn)行 nvidia-smi 命令之外，還可以加一些參數(shù)，來查看一些本機(jī) Nvidia GPU 的其他一些狀態(tài)。下面筆者簡(jiǎn)單介紹幾個(gè)常用的參數(shù)，其他的有需要可以去手冊(cè)中查找：man nvidia-smi。

-L

-L 參數(shù)顯示連接到系統(tǒng)的 GPU 列表。

nvidia-smi -L

# 輸出：
GPU 0: NVIDIA GeForce RTX 3060 (UUID: GPU-55275dff-****-****-****-6408855fced9)
GPU 1: NVIDIA GeForce RTX 3060 (UUID: GPU-0a1e7f37-****-****-****-df9a8bce6d6b)
GPU 2: NVIDIA GeForce RTX 3060 (UUID: GPU-38e2771e-****-****-****-d5cbb85c58d8)
GPU 3: NVIDIA GeForce RTX 3060 (UUID: GPU-8b45b004-****-****-****-46c05975a9f0)

GPU UUID：此值是GPU的全球唯一不可變字母數(shù)字標(biāo)識(shí)符。它與主板上的物理標(biāo)簽無關(guān)。

-i

-i 參數(shù)指定某個(gè) GPU，多用于查看 GPU 信息時(shí)指定其中一個(gè) GPU。

-q

-q 參數(shù)查看 GPU 的全部信息?？赏ㄟ^ -i 參數(shù)指定查看某個(gè) GPU 的參數(shù)。

如：

nvidia-smi -i 0 -q

輸出太長(zhǎng)了，筆者這里就不列了，大家可以自己試一下，是很完整的信息。

topo

topo 展示多GPU系統(tǒng)的拓?fù)溥B接信息，通常配合 -m 參數(shù)即 nvidia-smi topo -m，其他參數(shù)可自行查閱。

輸出如下，這里用代碼塊沒法對(duì)齊，就直接貼圖了：

這里只介紹了幾個(gè)筆者常用的參數(shù)，其他參數(shù)請(qǐng)自行查閱手冊(cè)吧。

擴(kuò)展：Linux | nvidia-smi 命令使用記錄 

簡(jiǎn)介

nvidia smi（也稱為NVSMI）為來自 Fermi 和更高體系結(jié)構(gòu)系列的 nvidia Tesla、Quadro、GRID 和 GeForce 設(shè)備提供監(jiān)控和管理功能。GeForce Titan系列設(shè)備支持大多數(shù)功能，為GeForce品牌的其余部分提供的信息非常有限。NVSMI是一種跨平臺(tái)工具，支持所有標(biāo)準(zhǔn)NVIDIA驅(qū)動(dòng)程序支持的Linux發(fā)行版，以及從Windows Server 2008 R2開始的64位版本的Windows。

詳細(xì)的信息可以去手冊(cè)中查找：man nvidia-smi。

nvidia-smi 命令

直接在命令行輸入nvidia-smi，得到下圖結(jié)果

藍(lán)框指出了在輸出本身中各個(gè)位置的對(duì)應(yīng)含義，紅框指出了輸出各個(gè)部分的含義。

Fan：從0到100%之間變動(dòng)，這個(gè)速度是計(jì)算機(jī)期望的風(fēng)扇轉(zhuǎn)速，實(shí)際情況下如果風(fēng)扇堵轉(zhuǎn)，可能打不到顯示的轉(zhuǎn)速。
Perf：是性能狀態(tài)，從P0到P12，P0表示最大性能，P12表示狀態(tài)最小性能。
Persistence-M：是持續(xù)模式的狀態(tài)，持續(xù)模式雖然耗能大，但是在新的GPU應(yīng)用啟動(dòng)時(shí)，花費(fèi)的時(shí)間更少，這里顯示的是off的狀態(tài)。
Disp.A：Display Active，表示GPU的顯示是否初始化。
Compute M：是計(jì)算模式。
Volatile Uncorr. ECC：是否開啟 ECC 糾錯(cuò)。
type：進(jìn)程類型。C 表示計(jì)算進(jìn)程，G 表示圖形進(jìn)程，C+G 表示都有。

nvidia-smi 命令的參數(shù)

一些常用的參數(shù)，查看狀態(tài)

nvidia-smi -L

-L 參數(shù)顯示連接到系統(tǒng)的 GPU 列表。

nvidia-smi -L
# 輸出：
GPU 0: NVIDIA GeForce RTX 3060 (UUID: GPU-55275dff-****-****-****-6408855fced9)
GPU 1: NVIDIA GeForce RTX 3060 (UUID: GPU-0a1e7f37-****-****-****-df9a8bce6d6b)
GPU 2: NVIDIA GeForce RTX 3060 (UUID: GPU-38e2771e-****-****-****-d5cbb85c58d8)
GPU 3: NVIDIA GeForce RTX 3060 (UUID: GPU-8b45b004-****-****-****-46c05975a9f0)

GPU UUID：此值是GPU的全球唯一不可變字母數(shù)字標(biāo)識(shí)符。它與主板上的物理標(biāo)簽無關(guān)。

nvidia-smi -i

-i 參數(shù)指定某個(gè) GPU，多用于查看 GPU 信息時(shí)指定其中一個(gè) GPU。

nvidia-smi -q

-q 參數(shù)查看 GPU 的全部信息?？赏ㄟ^ -i 參數(shù)指定查看某個(gè) GPU 的參數(shù)

到此這篇關(guān)于Linux 常用nvidia-smi命令詳解的文章就介紹到這了,更多相關(guān)Linux nvidia-smi命令內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論