深入探討linux下進(jìn)程的最大線程數(shù)、進(jìn)程最大數(shù)、進(jìn)程打開的文件數(shù)
更新時(shí)間：2013年05月27日 12:04:30 作者：
本篇文章是對(duì)linux下進(jìn)程的最大線程數(shù)、進(jìn)程最大數(shù)、進(jìn)程打開的文件數(shù)進(jìn)行了詳細(xì)的分析介紹，需要的朋友參考下
＝＝＝＝＝最大線程數(shù)＝＝＝＝
linux 系統(tǒng)中單個(gè)進(jìn)程的最大線程數(shù)有其最大的限制 PTHREAD_THREADS_MAX
這個(gè)限制可以在 /usr/include/bits/local_lim.h 中查看
對(duì) linuxthreads 這個(gè)值一般是 1024，對(duì)于 nptl 則沒(méi)有硬性的限制，僅僅受限于系統(tǒng)的資源
這個(gè)系統(tǒng)的資源主要就是線程的 stack 所占用的內(nèi)存，用 ulimit -s 可以查看默認(rèn)的線程棧大小，一般情況下，這個(gè)值是 8M
可以寫一段簡(jiǎn)單的代碼驗(yàn)證最多可以創(chuàng)建多少個(gè)線程
int main()
{
int i = 0;
pthread_t thread;
while (1) {
if (pthread_create(&thread, NULL, foo, NULL) != 0)
return;
i ++;
printf("i = %d\n", i);
}
}
試驗(yàn)顯示，在 linuxthreads 上最多可以創(chuàng)建 381 個(gè)線程，之后就會(huì)返回 EAGAIN
在 nptl 上最多可以創(chuàng)建 382 個(gè)線程，之后就會(huì)返回 ENOMEM
這個(gè)值和理論完全相符，因?yàn)?32 位 linux 下的進(jìn)程用戶空間是 3G 的大小，也就是 3072M，用 3072M 除以 8M 得 384，但是實(shí)際上代碼段和數(shù)據(jù)段等還要占用一些空間，這個(gè)值應(yīng)該向下取整到 383，再減去主線程，得到 382。
那為什么 linuxthreads 上還要少一個(gè)線程呢？這可太對(duì)了，因?yàn)?linuxthreads 還需要一個(gè)管理線程
為了突破內(nèi)存的限制，可以有兩種方法
1) 用 ulimit -s 1024 減小默認(rèn)的棧大小
2) 調(diào)用 pthread_create 的時(shí)候用 pthread_attr_getstacksize 設(shè)置一個(gè)較小的棧大小
要注意的是，即使這樣的也無(wú)法突破 1024 個(gè)線程的硬限制，除非重新編譯 C 庫(kù) <=此處值得討論，我在ubuntu 7.04＋3G內(nèi)存上用ulimit -s 1024，則可以得到3054個(gè)線程。
===============進(jìn)程最大數(shù)=================
LINUX中進(jìn)程的最大理論數(shù)計(jì)算：
每個(gè)進(jìn)程的局部段描述表LDT都作為一個(gè)獨(dú)立的段而存在，在全局段描述表GDT中要有一個(gè)表項(xiàng)指向這個(gè)段的起始地址，并說(shuō)明該段的長(zhǎng)度以及其他一些 參數(shù)。除上之外，每個(gè)進(jìn)程還有一個(gè)TSS結(jié)構(gòu)(任務(wù)狀態(tài)段)也是一樣。所以，每個(gè)進(jìn)程都要在全局段描述表GDT中占據(jù)兩個(gè)表項(xiàng)。那么，GDT的容量有多大 呢？段寄存器中用作GDT表下標(biāo)的位段寬度是13位，所以GDT中可以有8192個(gè)描述項(xiàng)。除一些系統(tǒng)的開銷(例如GDT中的第2項(xiàng)和第3項(xiàng)分別用于內(nèi)核 的代碼段和數(shù)據(jù)段，第4項(xiàng)和第5項(xiàng)永遠(yuǎn)用于當(dāng)前進(jìn)程的代碼段和數(shù)據(jù)段，第1項(xiàng)永遠(yuǎn)是0，等等)以外，尚有8180個(gè)表項(xiàng)可供使用，所以理論上系統(tǒng)中最大的 進(jìn)程數(shù)量是4090。
＝＝＝＝重新編譯內(nèi)核來(lái)修改進(jìn)程打開的最大文件數(shù)和修改listen偵聽隊(duì)列＝＝＝＝
用“ulimit -a”能看到這些限制，如：
[root@HQtest root]# ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
file size (blocks, -f) unlimited
max locked memory (kbytes, -l) unlimited
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 2047
virtual memory (kbytes, -v) unlimited
用ulimit ?n 10240 修改打開的文件數(shù)目變?yōu)?10240
雖然使用ulimit ?a 能看到變?yōu)?0240，不過(guò)我在做壓力測(cè)試的時(shí)候，當(dāng)超過(guò)1024個(gè)用戶時(shí)，服務(wù)就會(huì)down機(jī)。
最后只有重新編譯了內(nèi)核，編譯內(nèi)核后一切OK!
操作方法如下：
不同的Linux內(nèi)核版本有不同的調(diào)整方法，
在Linux內(nèi)核2.2.x中能用如下命令修改：
# echo '8192' > /proc/sys/fs/file-max
# echo '32768' > /proc/sys/fs/inode-max
并將以上命令加到/etc/rc.c/rc.local文件中，以使系統(tǒng)每次重新啟動(dòng)時(shí)設(shè)置以上值。
在Linux內(nèi)核2.4.x中需要修改原始碼，然后重新編譯內(nèi)核才生效。編輯Linux內(nèi)核原始碼中的 include/linux/fs.h文件，
將 NR_FILE 由8192改為 65536，將NR_RESERVED_FILES 由10 改為 128。編輯fs/inode.c 文件將 MAX_INODE 由16384改為262144。
一般情況下，最大打開文件數(shù)比較合理的設(shè)置為每4M物理內(nèi)存256，比如256M內(nèi)存能設(shè)為16384，
而最大的使用的i節(jié)點(diǎn)的數(shù)目應(yīng)該是最大打開文件數(shù)目的3倍到4倍。
linux 系統(tǒng)中單個(gè)進(jìn)程的最大線程數(shù)有其最大的限制 PTHREAD_THREADS_MAX
這個(gè)限制可以在 /usr/include/bits/local_lim.h 中查看
對(duì) linuxthreads 這個(gè)值一般是 1024，對(duì)于 nptl 則沒(méi)有硬性的限制，僅僅受限于系統(tǒng)的資源
這個(gè)系統(tǒng)的資源主要就是線程的 stack 所占用的內(nèi)存，用 ulimit -s 可以查看默認(rèn)的線程棧大小，一般情況下，這個(gè)值是 8M
可以寫一段簡(jiǎn)單的代碼驗(yàn)證最多可以創(chuàng)建多少個(gè)線程
復(fù)制代碼 代碼如下:
int main()
{
int i = 0;
pthread_t thread;
while (1) {
if (pthread_create(&thread, NULL, foo, NULL) != 0)
return;
i ++;
printf("i = %d\n", i);
}
}
試驗(yàn)顯示，在 linuxthreads 上最多可以創(chuàng)建 381 個(gè)線程，之后就會(huì)返回 EAGAIN
在 nptl 上最多可以創(chuàng)建 382 個(gè)線程，之后就會(huì)返回 ENOMEM
這個(gè)值和理論完全相符，因?yàn)?32 位 linux 下的進(jìn)程用戶空間是 3G 的大小，也就是 3072M，用 3072M 除以 8M 得 384，但是實(shí)際上代碼段和數(shù)據(jù)段等還要占用一些空間，這個(gè)值應(yīng)該向下取整到 383，再減去主線程，得到 382。
那為什么 linuxthreads 上還要少一個(gè)線程呢？這可太對(duì)了，因?yàn)?linuxthreads 還需要一個(gè)管理線程
為了突破內(nèi)存的限制，可以有兩種方法
1) 用 ulimit -s 1024 減小默認(rèn)的棧大小
2) 調(diào)用 pthread_create 的時(shí)候用 pthread_attr_getstacksize 設(shè)置一個(gè)較小的棧大小
要注意的是，即使這樣的也無(wú)法突破 1024 個(gè)線程的硬限制，除非重新編譯 C 庫(kù) <=此處值得討論，我在ubuntu 7.04＋3G內(nèi)存上用ulimit -s 1024，則可以得到3054個(gè)線程。
===============進(jìn)程最大數(shù)=================
LINUX中進(jìn)程的最大理論數(shù)計(jì)算：
每個(gè)進(jìn)程的局部段描述表LDT都作為一個(gè)獨(dú)立的段而存在，在全局段描述表GDT中要有一個(gè)表項(xiàng)指向這個(gè)段的起始地址，并說(shuō)明該段的長(zhǎng)度以及其他一些 參數(shù)。除上之外，每個(gè)進(jìn)程還有一個(gè)TSS結(jié)構(gòu)(任務(wù)狀態(tài)段)也是一樣。所以，每個(gè)進(jìn)程都要在全局段描述表GDT中占據(jù)兩個(gè)表項(xiàng)。那么，GDT的容量有多大 呢？段寄存器中用作GDT表下標(biāo)的位段寬度是13位，所以GDT中可以有8192個(gè)描述項(xiàng)。除一些系統(tǒng)的開銷(例如GDT中的第2項(xiàng)和第3項(xiàng)分別用于內(nèi)核 的代碼段和數(shù)據(jù)段，第4項(xiàng)和第5項(xiàng)永遠(yuǎn)用于當(dāng)前進(jìn)程的代碼段和數(shù)據(jù)段，第1項(xiàng)永遠(yuǎn)是0，等等)以外，尚有8180個(gè)表項(xiàng)可供使用，所以理論上系統(tǒng)中最大的 進(jìn)程數(shù)量是4090。
＝＝＝＝重新編譯內(nèi)核來(lái)修改進(jìn)程打開的最大文件數(shù)和修改listen偵聽隊(duì)列＝＝＝＝
用“ulimit -a”能看到這些限制，如：
復(fù)制代碼 代碼如下:
[root@HQtest root]# ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
file size (blocks, -f) unlimited
max locked memory (kbytes, -l) unlimited
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 2047
virtual memory (kbytes, -v) unlimited
用ulimit ?n 10240 修改打開的文件數(shù)目變?yōu)?10240
雖然使用ulimit ?a 能看到變?yōu)?0240，不過(guò)我在做壓力測(cè)試的時(shí)候，當(dāng)超過(guò)1024個(gè)用戶時(shí)，服務(wù)就會(huì)down機(jī)。
最后只有重新編譯了內(nèi)核，編譯內(nèi)核后一切OK!
操作方法如下：
不同的Linux內(nèi)核版本有不同的調(diào)整方法，
在Linux內(nèi)核2.2.x中能用如下命令修改：
復(fù)制代碼 代碼如下:
# echo '8192' > /proc/sys/fs/file-max
# echo '32768' > /proc/sys/fs/inode-max
并將以上命令加到/etc/rc.c/rc.local文件中，以使系統(tǒng)每次重新啟動(dòng)時(shí)設(shè)置以上值。
在Linux內(nèi)核2.4.x中需要修改原始碼，然后重新編譯內(nèi)核才生效。編輯Linux內(nèi)核原始碼中的 include/linux/fs.h文件，
將 NR_FILE 由8192改為 65536，將NR_RESERVED_FILES 由10 改為 128。編輯fs/inode.c 文件將 MAX_INODE 由16384改為262144。
一般情況下，最大打開文件數(shù)比較合理的設(shè)置為每4M物理內(nèi)存256，比如256M內(nèi)存能設(shè)為16384，
而最大的使用的i節(jié)點(diǎn)的數(shù)目應(yīng)該是最大打開文件數(shù)目的3倍到4倍。
相關(guān)文章
本文主要介紹了C++ sort排序函數(shù)用法詳解，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2022-06-06
用C/C++代碼檢測(cè)ip能否ping通(配合awk和system可以做到批量檢測(cè))
今天小編就為大家分享一篇關(guān)于用C/C++代碼檢測(cè)ip能否ping通(配合awk和system可以做到批量檢測(cè))，小編覺得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來(lái)看看吧2019-04-04
本篇文章主要介紹了詳解C++11中的右值引用與移動(dòng)語(yǔ)義，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-02-02
C++實(shí)現(xiàn)LeetCode(78.子集合)
這篇文章主要介紹了C++實(shí)現(xiàn)LeetCode(78.子集合),本篇文章通過(guò)簡(jiǎn)要的案例,講解了該項(xiàng)技術(shù)的了解與使用,以下就是詳細(xì)內(nèi)容,需要的朋友可以參考下2021-07-07
這篇文章主要為大家詳細(xì)介紹了C++中單例模式的相關(guān)知識(shí)，并給出單例模式日志實(shí)現(xiàn)，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以了解一下
2023-04-04 
QT中進(jìn)程的創(chuàng)建實(shí)現(xiàn)
本文主要介紹了QT中進(jìn)程的創(chuàng)建實(shí)現(xiàn),詳細(xì)介紹了創(chuàng)建進(jìn)程的整個(gè)過(guò)程,文中通過(guò)示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
2023-08-08 
Visual Studio2000系列版本安裝OpenGL的圖文教程
這篇文章主要介紹了Visual Studio2000系列版本安裝OpenGL的圖文教程,本文通過(guò)圖文并茂的形式給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2020-04-04 
虛表是一種利用程序語(yǔ)言實(shí)現(xiàn)的dynamic dispatch機(jī)制，或者說(shuō)runtime method binding機(jī)制，也就是我們說(shuō)的多態(tài)。本文簡(jiǎn)單探究虛表實(shí)現(xiàn)方法，一起看看吧
2021-09-09 
C++中constexpr與模板元編程的基礎(chǔ)、常見問(wèn)題、易錯(cuò)點(diǎn)及其規(guī)避策略
C++編譯時(shí)計(jì)算允許程序在編譯階段完成計(jì)算任務(wù),constexpr與模板元編程是C編譯時(shí)計(jì)算的兩把利劍,它們不僅能夠提升程序的性能,還能增強(qiáng)代碼的健壯性和可維護(hù)性,通過(guò)避開本文闡述的易錯(cuò)點(diǎn),開發(fā)者可以更加得心應(yīng)手地運(yùn)用這些特性,編寫出既高效又優(yōu)雅的C代碼
2024-06-06