實(shí)現(xiàn)思路

實(shí)現(xiàn)一個(gè)shell進(jìn)程庫(kù)，通過(guò)類(lèi)似于init，run，wait幾個(gè)簡(jiǎn)單的命令，就可以迅速實(shí)現(xiàn)多進(jìn)程并發(fā)，偽碼如下：

process_init # 創(chuàng)建進(jìn)程
for city in ${cities[*]}
do
    cmd="handler $city"
    process_run $cmd 
done
process_wait # 等待進(jìn)程

原理解析

在實(shí)現(xiàn)C++線程庫(kù)的時(shí)候，通常會(huì)有一個(gè)任務(wù)隊(duì)列，線程從隊(duì)列中取任務(wù)并運(yùn)行。在實(shí)現(xiàn)shell進(jìn)程庫(kù)的時(shí)候，采用了類(lèi)似原理，通過(guò)一個(gè)有名管道充當(dāng)任務(wù)隊(duì)列。嚴(yán)格來(lái)說(shuō)，并不是一個(gè)任務(wù)隊(duì)列，而是一個(gè)令牌桶。進(jìn)程從桶中取得令牌后才可以運(yùn)行，運(yùn)行結(jié)束后將令牌放回桶中。沒(méi)有取得令牌的進(jìn)程不能運(yùn)行。令牌的數(shù)目即允許并發(fā)的最大進(jìn)程數(shù)。

管道

主要思路：通過(guò)mkfifo創(chuàng)建一個(gè)有名管道，將管道與一個(gè)文件描述符綁定，通過(guò)往管道中寫(xiě)數(shù)據(jù)的方式，控制進(jìn)程數(shù)量。

function _create_pipe()
{
    _PROCESS_PIPE_NAME=$(_get_uid)
    mkfifo ${_PROCESS_PIPE_NAME}
    eval exec "${_PROCESS_PIPE_ID}""<>${_PROCESS_PIPE_NAME}"
    for ((i=0; i < $_PROCESS_NUM; i++))
    do
        echo -ne "\n" 1>&${_PROCESS_PIPE_ID}
    done
}

exec

exec fd <  file  #以讀方式打開(kāi)文件，并關(guān)聯(lián)文件描述符fd
exec fd >  file  #以寫(xiě)方式打開(kāi)文件，并關(guān)聯(lián)文件描述符fd
exec fd <> file  #以讀寫(xiě)方式打開(kāi)文件，并關(guān)聯(lián)文件描述符

# 測(cè)試
exec 8>file
echo "hello word!" 1>&8

eval

為了讓程序有一定的擴(kuò)展性，不想寫(xiě)死fd，因而引入了變量。

file_fd=8
exec ${file_fd}>file

# 測(cè)試
bash test.sh
test.sh: line 7: exec: 8: not found

原因：shell在重定向操作符(<、>)左邊不進(jìn)行變量展開(kāi)。因而引入eval命令，強(qiáng)制shell進(jìn)行變量展開(kāi)。 
eval exec "${fd}>file"簡(jiǎn)單的說(shuō)，eval將右邊參數(shù)整體作為一個(gè)命令，進(jìn)行變量的替換，然后將替換后的輸出結(jié)果給shell去執(zhí)行。

進(jìn)程關(guān)系

命令執(zhí)行

function process_run()
{
    cmd=$1
    if [ -z "$cmd" ]; then
        echo "please input command to run"
        _delete_pipe    
        exit 1
    fi
    _process_get
    {
        $cmd
        _process_post
    }&
}

_process_get從管道中取得一個(gè)令牌，創(chuàng)建一個(gè)進(jìn)程執(zhí)行任務(wù)，任務(wù)執(zhí)行完畢后，通過(guò)_process_post將令牌放回管道。

進(jìn)程創(chuàng)建

chengsun@153_92:~/test> bash process_util.sh
chengsun@153_92:~/test> pstree -a
|`-sshd
|    |-bash
|    |   `-bash process_util.sh         #爺爺
|    |       |-bash process_util.sh     #爸爸
|    |       |   `-a.out                #兒子
|    |       |-bash process_util.sh        
|    |       |   `-a.out                   
|    |       `-bash process_util.sh
|    |           `-a.out

腳本運(yùn)行后，通過(guò)pstree命令，得到如上父子進(jìn)程關(guān)系。稍微做一下解釋?zhuān)寒?dāng)運(yùn)行腳本bash process_util.sh的時(shí)候，創(chuàng)建一個(gè)shell進(jìn)程，相當(dāng)于爺爺被創(chuàng)建起來(lái)，而遇到{ command1; command2 } &時(shí)，shell 又創(chuàng)建一個(gè)子shell進(jìn)程（爸爸進(jìn)程）處理命令序列；而對(duì)于每一個(gè)外部命令，shell都會(huì)創(chuàng)建一個(gè)子進(jìn)程運(yùn)行該命令，即兒子進(jìn)程被創(chuàng)建。

困惑：為什么處理{ command1; command2; } &需要單獨(dú)創(chuàng)建子進(jìn)程？ 
按照bash manual說(shuō)法，{ list }并不會(huì)創(chuàng)建一個(gè)新的shell來(lái)運(yùn)行命令序列。但由于加入&，代表將命令族放入后臺(tái)執(zhí)行，就必須新開(kāi)subshell，否則shell會(huì)阻塞。

進(jìn)程組

chengsun@153_92:~/test> ps -f -e -o pid,ppid,pgid,comm
 PID  PPID  PGID  COMMAND
24904 21976 24904 bash
19885 24904 19885  \_ bash            # 爺爺
19893 19885 19885      \_ bash        # 爸爸
19894 19893 19885      |   \_ a.out   # 兒子
19895 19885 19885      \_ bash
19896 19895 19885      |   \_ a.out
19897 19885 19885      \_ bash
19898 19897 19885          \_ a.out

Shell 將運(yùn)行process_util的一堆進(jìn)程置于一個(gè)進(jìn)程組中。其中爺爺進(jìn)程作為該進(jìn)程組的組長(zhǎng)，pid == pgid。

wait

wait pid:阻塞等待某個(gè)進(jìn)程結(jié)束； 如果沒(méi)有指定參數(shù)，wait會(huì)等待所有子進(jìn)程結(jié)束。

清理函數(shù)

允許任務(wù)通過(guò)CTRL+C方式提前結(jié)束，因而需要清理函數(shù)

信號(hào)

trap 
類(lèi)似C語(yǔ)言signal函數(shù)，為shell腳本注冊(cè)信號(hào)處理函數(shù)。trap arg signals，其中signals為注冊(cè)的信號(hào)列表，arg為收到信號(hào)后執(zhí)行某個(gè)命令。

function Print
{
    echo "Hello World!"
}
trap Print SIGKILL

kill 
kill 命令給進(jìn)程或進(jìn)程組發(fā)送信號(hào)；kill pid 給進(jìn)程發(fā)送默認(rèn)信號(hào)SIGTERM, 通知程序終止執(zhí)行。

void sig_handler(int signo)
{
    printf("sigterm signal\n");
}
int main()
{
    signal(SIGTERM, sig_handler);
    sleep(100);
    return 0;
}

chengsun@153_92:~/test> ./a.out &
[1] 19254
chengsun@153_92:~/test> kill 19254
sigterm signal

kill 0：給當(dāng)前進(jìn)程組發(fā)送默認(rèn)信號(hào)SIGTERM

chengsun@153_92:~/test> man kill
0  All processes in the current process group are signaled.

清理

function _clean_up
{
    # 清理管道文件
    _delete_pipe
    kill 0
    kill -9 $$
}
trap _clean_up SIGINT SIGHUP SIGTERM SIGKILL

kill -9 $$ 非常重要

實(shí)際上，最上層是爺爺進(jìn)程，當(dāng)發(fā)送Ctrl + C命令的時(shí)候，爺爺進(jìn)程捕獲SIGINT信號(hào)，調(diào)用_clean_up函數(shù)。爺爺進(jìn)程對(duì)整個(gè)進(jìn)程組發(fā)送SIGTERM信號(hào)，并調(diào)用kill -9結(jié)束自己。爸爸進(jìn)程接收SIGTERM信號(hào)，同時(shí)也發(fā)送SIGTERN給整個(gè)進(jìn)程組，如果沒(méi)有kill -9，爸爸進(jìn)程始終無(wú)法結(jié)束，進(jìn)入無(wú)限遞歸環(huán)節(jié)。兒子為CPP二進(jìn)制程序，內(nèi)部沒(méi)有捕獲SIGTERM，該信號(hào)默認(rèn)動(dòng)作是結(jié)束進(jìn)程。

使用范例

# file: run.sh
#!/bin/sh
#load process library
source ./process_util.sh
function handler()
{
    city=$1
    ./main ${city}
}
process_init 23
for city in $cities
do
    cmd = "handler $city"
    process_run "$cmd"
done
process_wait

到此這篇關(guān)于Shell 實(shí)現(xiàn)多任務(wù)并發(fā)的示例代碼的文章就介紹到這了,更多相關(guān)Shell 多任務(wù)并發(fā)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論