1. 問題背景

該 Python 腳本旨在啟動(dòng)多個(gè)線程，每個(gè)線程又通過 Popen 啟動(dòng)一個(gè)子進(jìn)程。子進(jìn)程將從一個(gè)數(shù)據(jù)庫中的表格中將 10M 條記錄傳輸?shù)搅硪粋€(gè)數(shù)據(jù)庫中的不同表格中。這個(gè)過程中會(huì)涉及大量的數(shù)據(jù)整理和轉(zhuǎn)換，因?yàn)閮蓚€(gè)數(shù)據(jù)庫具有不同的架構(gòu)。子進(jìn)程在執(zhí)行過程中，如果遇到錯(cuò)誤（如錯(cuò)誤的記錄或重復(fù)的主鍵）或執(zhí)行成功，都會(huì)輸出 “Done\n”；如果沒有更多記錄可供傳輸，則會(huì)輸出 “NO DATA\n”。

腳本 “tableTransfer.py” 意在生成這些子進(jìn)程，讀取它們的輸出，并依此輸出一些信息，如已完成的更新數(shù)量、剩余時(shí)間、已經(jīng)過去的時(shí)間，以及每秒的傳輸數(shù)量。

然而，在運(yùn)行這個(gè)腳本一段時(shí)間后，遇到了死鎖問題。子進(jìn)程沒有在運(yùn)行，還有記錄需要更新，腳本也沒有退出。它只是停在那里，不再輸出當(dāng)前信息，因?yàn)闆]有子進(jìn)程運(yùn)行來更新總完成數(shù)（這是控制輸出更新的內(nèi)容）。

2. 解決方案

2.1 使用隊(duì)列通信

為了解決死鎖問題，需要使用隊(duì)列來進(jìn)行進(jìn)程間通信。隊(duì)列是一個(gè)先進(jìn)先出的數(shù)據(jù)結(jié)構(gòu)，可以將數(shù)據(jù)從一個(gè)進(jìn)程傳輸?shù)搅硪粋€(gè)進(jìn)程。在腳本中，可以創(chuàng)建一個(gè)隊(duì)列來存儲(chǔ)子進(jìn)程的輸出，然后由主進(jìn)程從隊(duì)列中讀取輸出并進(jìn)行處理。這樣，子進(jìn)程就不會(huì)阻塞主進(jìn)程，也不會(huì)發(fā)生死鎖。

2.2 使用信號處理

為了處理 Ctrl+C 中斷信號，需要使用信號處理模塊。該模塊提供了處理不同信號的函數(shù)，包括 Ctrl+C 中斷信號。在腳本中，可以使用信號處理模塊注冊一個(gè) Ctrl+C 中斷信號處理函數(shù)，當(dāng)用戶按下 Ctrl+C 時(shí)，該函數(shù)將被調(diào)用。在處理函數(shù)中，可以關(guān)閉所有子進(jìn)程并退出腳本。

2.3 優(yōu)化腳本結(jié)構(gòu)

為了提高腳本的可讀性和可維護(hù)性，可以對腳本的結(jié)構(gòu)進(jìn)行優(yōu)化。例如，可以將腳本劃分為不同的函數(shù)，每個(gè)函數(shù)負(fù)責(zé)一個(gè)特定的任務(wù)。還可以使用面向?qū)ο缶幊虂斫M織代碼，使代碼更加模塊化和易于復(fù)用。

2.4 代碼示例

import queue
import threading
import signal
import subprocess
# 創(chuàng)建一個(gè)隊(duì)列來存儲(chǔ)子進(jìn)程的輸出
output_queue = queue.Queue()
# 創(chuàng)建一個(gè)函數(shù)來處理子進(jìn)程的輸出
def process_output(output):
    # 在這里處理子進(jìn)程的輸出
    # ...
# 創(chuàng)建一個(gè)函數(shù)來啟動(dòng)一個(gè)子進(jìn)程
def start_subprocess(command):
    # 啟動(dòng)一個(gè)子進(jìn)程
    process = subprocess.Popen(command, stdout=subprocess.PIPE)
    # 將子進(jìn)程的輸出添加到隊(duì)列中
    for line in iter(process.stdout.readline, b''):
        output_queue.put(line.decode('utf-8'))
    # 等待子進(jìn)程完成
    process.wait()
# 創(chuàng)建一個(gè)函數(shù)來處理 Ctrl+C 中斷信號
def signal_handler(signal, frame):
    # 關(guān)閉所有子進(jìn)程
    for thread in threads:
        thread.join()
    # 退出腳本
    exit()
# 注冊 Ctrl+C 中斷信號處理函數(shù)
signal.signal(signal.SIGINT, signal_handler)
# 創(chuàng)建一個(gè)列表來存儲(chǔ)線程
threads = []
# 啟動(dòng)一定數(shù)量的線程來啟動(dòng)子進(jìn)程
for i in range(10):
    thread = threading.Thread(target=start_subprocess, args=('python script.py',))
    threads.append(thread)
    thread.start()
# 從隊(duì)列中讀取輸出并進(jìn)行處理
while True:
    output = output_queue.get()
    process_output(output)

到此這篇關(guān)于Python 腳本死鎖問題與解決方案的文章就介紹到這了,更多相關(guān)Python 腳本死鎖內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論