awk實(shí)現(xiàn)Left、join查詢、去除重復(fù)值以及局部變量講解例子
最近看到論壇里面有幾個(gè)不錯(cuò)的小例子，對(duì)于學(xué)習(xí)awk還是有幫助，在這兒詳細(xì)的說(shuō)一下
一、類似數(shù)據(jù)庫(kù)中的left join查詢
[root@krlcgcms01 mytest]# cat a.txt //a.txt
111 aaa
222 bbb
333 cccc
444 ddd
[root@krlcgcms01 mytest]# cat b.txt //b.txt
111 123 456
2 abc cbd
444 rts 786
要求輸出結(jié)果是
111,aaa,123,456
444,ddd,rts,786
實(shí)現(xiàn)方法:
[root@krlcgcms01 mytest]# awk 'NR==FNR{a[$1]=$2;}NR!=FNR && a[$1]{print $1","a[$1]","$2","$3}' a.txt b.txt
111,aaa,123,456
444,ddd,rts,786
解釋：當(dāng)NR和FNR相同時(shí),這就說(shuō)明在對(duì)第一個(gè)文件進(jìn)行操作，a[$1]=$2表示，建立一個(gè)數(shù)組，以第一個(gè)字段為下標(biāo)，第二個(gè)字段為值。當(dāng)NR!=FNR時(shí),說(shuō)明在對(duì)第二個(gè)文件進(jìn)行操作，注意：這個(gè)時(shí)候的$1和前面的$1不是同一個(gè)東西了，前面的$1表示的是a.txt的第一個(gè)字段，而后面的$1表示的是b.txt的第一個(gè)字段。a[$1]表示以b.txt中第一個(gè)字段的為下標(biāo)的值，如果a[$1]有值的話，說(shuō)明也存在于a.txt文件中，這樣就把數(shù)據(jù)print出來(lái)就行了。
實(shí)現(xiàn)方法2:
[root@krlcgcms01 mytest]# awk -v OFS="," 'NR==FNR{a[$1]=$2;} NR!=FNR && $1 in a { print $1,a[$1],$2,$3}' a.txt b.txt
111,aaa,123,456
444,ddd,rts,786
解釋：-v OFS=","這個(gè)是設(shè)置輸出時(shí)的列分割符，$1 in a這個(gè)是b.txt文件中的第一列的值是不是在數(shù)組a的key中，這個(gè)對(duì)做程序的來(lái)說(shuō)很好理解，各種語(yǔ)言當(dāng)中都有這樣的用法，或者函數(shù)。例如，php中有in_array函數(shù)。比較一下，方法1和方法2中的print，方法1我加了雙引號(hào)，方法2我卻沒(méi)有加，但是輸出的效果卻是一樣的。
二、去除重復(fù)的值
[root@krlcgcms01 mytest]# cat repea //文件repea
a b
c d
e f
b d
b a
f e
1 2
2 1
如果有a,b和b,a這樣的情況，就刪除b,a，當(dāng)然數(shù)字也一樣;
實(shí)現(xiàn)方法1：
awk '{for(i=1;i<=NF;i++)a[i]=$i;asort(a);for(i=1;i<=length(a);i++)printf a[i]"\t";printf "\n"}' repea|sort|uniq
1 2
a b
b d
c d
e f
解釋：for(i=1;i<=NF;i++)a[i]=$i;將每一列中的二個(gè)字段放到數(shù)組中，asort(a)，這個(gè)數(shù)組進(jìn)行排序，后面的代碼是將數(shù)組數(shù)據(jù)輸出來(lái)，通sort命令對(duì)輸入的數(shù)據(jù)進(jìn)行排序，相同數(shù)據(jù)會(huì)排在一起，通過(guò)uniq來(lái)進(jìn)行去除相同的列。這種方法比較有通用性，不光適合二列，三列，四列都行。不過(guò)效率差了點(diǎn)。
實(shí)現(xiàn)方法2：
[root@krlcgcms01 mytest]# awk '{a[$0]=$0;if (!($2 OFS $1 in a)) print a[$0] }' repea
a b
c d
e f
b d
1 2
[root@krlcgcms01 mytest]# awk '{a[$0];if (!($2 OFS $1 in a)) print }' repea
a b
c d
e f
b d
1 2
解釋：方法2的二種寫(xiě)法，出來(lái)的結(jié)果是一樣的，a[$0];沒(méi)有賦值也沒(méi)有報(bào)錯(cuò)，為什么呢？awk在遇到這樣沒(méi)有定義的變量時(shí)，會(huì)給它一個(gè)初值。if (!($2 OFS $1 in a))表示返轉(zhuǎn)字段不在數(shù)組a中，這里所說(shuō)的在，表示key是不是存在，不是值。print 不寫(xiě)默認(rèn)是一行。
實(shí)現(xiàn)方法3：
[root@krlcgcms01 mytest]# awk '!a[$1_$2]++&&!a[$2_$1]++' repea
a b
c d
e f
b d
1 2
[root@krlcgcms01 mytest]# awk '{if(!a[$1_$2]++&&!a[$2_$1]++)print $0;}' repea
a b
c d
e f
b d
1 2
解釋：!a[$1_$2]++&&!a[$2_$1]++等于if(!a[$1_$2]++&&!a[$2_$1]++),對(duì)于首次出現(xiàn)的記錄，a[$2_$1]的值是未定義的，由于后面的 ++ 是數(shù)學(xué)計(jì)算，所以a[$2_$1]會(huì)被賦值成數(shù)字0，也是由于 ++ 操作符，會(huì)先取值，再計(jì)算，從左到右 ++ 運(yùn)算符的優(yōu)先級(jí)大于！運(yùn)算符的，所以對(duì)于第一行記錄實(shí)際上是if(! 0) print $0 ! 是取反，0 是假，! 0 就是真，那么就會(huì)執(zhí)行后面的 print $0對(duì)于后面出現(xiàn)的重復(fù)記錄，a[$0] 經(jīng)過(guò) ++ 的計(jì)算已經(jīng)變?yōu)?1、2、3 。。。而 ! 1 ! 2 ! 3 ... 都為假，不會(huì)打印。
三、awk的局部變量
這個(gè)例子來(lái)說(shuō)明一下，awk怪異的局部變量
[root@krlcgcms01 mytest]# cat sum
1 2
2 3
a b
3 2
4 1
3 r
把都是數(shù)字的行，最大的那個(gè)數(shù)字加起來(lái)，第一行是2，第二行是3，每四行是3，第五行是4，總和是12
function max(one,two){
if(one > two){
sum = sum + one;
}else{
sum = sum + two;
}
}
{if($1~"[0-9]" && $2~"[0-9]") max($1,$2);}
END{print "sum="sum}
在max方法里面，變量sum是會(huì)影響外面的，這里的sum是全局的。
[root@krlcgcms01 mytest]# awk -f add.sh sum
sum=12
function max(one,two,sum){ //方法中的sum局部變量
if(one > two){
sum = sum + one;
}else{
sum = sum + two;
}
}
{if($1~"[0-9]" && $2~"[0-9]") max($1,$2,sum);}
END{print "sum="sum} //所以為空
[root@krlcgcms01 mytest]# awk -f add.sh sum
sum=
function max(one,two,sum){
if(one > two){
sum = sum + one;
}else{
sum = sum + two;
}
return sum //加上return就可以了
}
{if($1~"[0-9]" && $2~"[0-9]") sum = max($1,$2,sum);}
END{print "sum="sum}
相關(guān)文章
Shell腳本實(shí)現(xiàn)精準(zhǔn)清除Squid緩存
這篇文章主要介紹了Shell腳本實(shí)現(xiàn)精準(zhǔn)清除Squid緩存,本文腳本是張宴同學(xué)腳本的個(gè)人優(yōu)化版,生產(chǎn)環(huán)境使用效果不錯(cuò),所以分享給大家,需要的朋友可以參考下2015-01-01
Linux啟動(dòng)與自啟動(dòng)的實(shí)例詳解
這篇文章主要介紹了Linux啟動(dòng)與自啟動(dòng)的實(shí)例詳解的相關(guān)資料,希望通過(guò)本文大家能理解掌握這部分內(nèi)容，需要的朋友可以參考下2017-09-09
在Linux系統(tǒng)下關(guān)機(jī)重啟命令有：shutdown、halt、rebbot、init命令，對(duì)于這些命令來(lái)說(shuō)，他們的內(nèi)部工作過(guò)程是不相同的，下面小編給大家分享一篇文章有助于輕松掌握l(shuí)inux關(guān)機(jī)重啟命令2015-11-11
shell腳本ssh遠(yuǎn)程執(zhí)行命令給變量賦值的問(wèn)題解決
本文主要介紹了shell腳本ssh遠(yuǎn)程執(zhí)行命令給變量賦值的問(wèn)題解決，就是從A機(jī)器通過(guò)SSH方式到B機(jī)器，并執(zhí)行相關(guān)的命令，具有一定的參考價(jià)值，感興趣的可以了解一下2023-07-07
Linux全網(wǎng)最全面常用命令整理(附實(shí)例)
這篇文章主要介紹了Linux命令，是目前最全面的集合，本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-08-08
這篇文章主要介紹了Shell腳本中判斷變量為數(shù)字的3種方法,本文分別介紹了expr、sed兩種方法,并給出了一個(gè)判斷腳本,需要的朋友可以參考下2014-12-12
sed使用正則表達(dá)式進(jìn)行替換例子以及注意事項(xiàng)
在使用sed替換時(shí),可以使用正則表達(dá)式分組來(lái)保留部分匹配內(nèi)容,下面這篇文章主要給大家介紹了關(guān)于sed使用正則表達(dá)式進(jìn)行替換例子以及注意事項(xiàng)的相關(guān)資料,需要的朋友可以參考下2024-03-03
這篇文章主要介紹了Linux中搭建FTP服務(wù)器的方法 的相關(guān)資料,需要的朋友可以參考下2015-09-09
Linux 下沒(méi)有百度網(wǎng)盤客戶端，用瀏覽器下載速度慢得急死人，本文重點(diǎn)給大家介紹Linux 下載百度網(wǎng)盤大文件的方法，需要的朋友參考下吧2017-08-08
shell 腳本中獲取命令的輸出的實(shí)現(xiàn)示例
本文主要介紹了shell 腳本中獲取命令的輸出的實(shí)現(xiàn)示例，文中通過(guò)示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-02-02