快捷導(dǎo)航

python多線程對(duì)多核cpu的利用解析

更新時(shí)間：2022年07月01日 11:13:39 作者：挪威的森林s

這篇文章主要為大家介紹了python多線程對(duì)多核cpu的利用解析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪

引言

我們經(jīng)常聽到"因?yàn)镚IL的存在，python的多線程不能利用多核CPU"，現(xiàn)在我們暫且不提GIL，python能不能利用多核cpu，今天我做了一個(gè)實(shí)驗(yàn)，代碼很簡(jiǎn)單如下所示

while 1:
    pass

沒有運(yùn)行這段代碼前cpu狀態(tài)

運(yùn)行之后的狀態(tài)

下面兩張圖是運(yùn)行之后的狀態(tài)，當(dāng)然這只是兩張比較有代表性的圖，截圖間隔有十幾秒的樣子

根據(jù)第一張圖我們發(fā)現(xiàn)cpu1、cpu3的負(fù)載有明顯增長(zhǎng)，我們可以得出python線程是可以利用多核cpu的結(jié)論，之前一直以為python運(yùn)行后會(huì)綁定cpu其中的一個(gè)核心現(xiàn)在看來并不是這個(gè)樣子。第二張圖就比較有意思了cpu2滿載了，這又是為什么呢？

想來想去應(yīng)該是linux中cpu對(duì)進(jìn)程的親和性導(dǎo)致的，這種親和性是軟性的并不是強(qiáng)制的，這也就解釋了為什么第一張圖中是多cpu在負(fù)載。

ok為了更直觀的看出python線程能夠利用多核cpu，我們改下代碼，換一種方式再來看下

import os
while 1:
    print os.getpid() # 輸出進(jìn)程號(hào)

運(yùn)行代碼結(jié)果

一目了然，線程的確在不同的核心上切換。

現(xiàn)在我們回過頭看下那句經(jīng)典的話"因?yàn)镚IL的存在，python的多線程不能利用多核CPU"，這句話很容易讓人理解成GIL會(huì)讓python在一個(gè)核心上運(yùn)行，有了今天的例子我們?cè)賮碇匦吕斫膺@句話，GIL的存在讓python在同一時(shí)刻只能有一個(gè)線程在運(yùn)行，這毋庸置疑，但是它并沒有給線程鎖死或者說指定只能在某個(gè)cpu上運(yùn)行，另外我需要說明一點(diǎn)的是GIL是與進(jìn)程對(duì)應(yīng)的，每個(gè)進(jìn)程都有一個(gè)GIL。

python線程的執(zhí)行流程理解

線程 ——>搶GIL——>CPU

這種執(zhí)行流程導(dǎo)致了CPU密集型的多線程程序雖然能夠利用多核cpu時(shí)跟單核cpu是差不多的，并且由于多個(gè)線程搶GIL這個(gè)環(huán)節(jié)導(dǎo)致運(yùn)行效率<=單線程。

看到這可能會(huì)讓人產(chǎn)生一種錯(cuò)覺，有了GIL后python是線程安全的，好像根本不需要線程鎖，而實(shí)際情況是線程拿到CPU資源后并不是一直執(zhí)行的，python解釋器在執(zhí)行了該線程100條字節(jié)碼(注意是字節(jié)碼不是代碼)時(shí)會(huì)釋放掉該線程的GIL，如果這時(shí)候沒有加鎖那么其他線程就可能修改該線程用到的資源;

遇到IO也會(huì)釋放GIL

另外一個(gè)問題是遇到IO也會(huì)釋放GIL，下面是這兩種情況的例子

import threading
a = []
def m1():
    for _ in range(100000):
        a.append(1)
def m2():
    for _ in range(100000):
        a.append(2)
def check():
    """
    檢查a是否有序
    """
    for i in range(len(a)):
        if i != 0:
            if a[i] &lt; a[i-1]:
                print a[i-1], a[i]
                return False
    return True
t1 = threading.Thread(target=m1)
t2 = threading.Thread(target=m2)
t1.start()
t2.start()
t1.join()
t2.join()
print check()

預(yù)期1111...22222...，截圖顯示跟預(yù)期的不同

import threading
text1 = '1' * 10000
text2 = '2' * 10000
def write(text):
    with open('test.txt', 'a') as f:
        f.write(text)
def m1():
    write(text1)
def m2():
    write(text2)
t1 = threading.Thread(target=m1)
t2 = threading.Thread(target=m2)
t1.start()
t2.start()
t1.join()
t2.join()

test.txt截圖