shell中刪除文件中重復(fù)行的方法
更新時(shí)間：2014年03月13日 15:02:45 作者：
這篇文章主要介紹了shell中刪除文件中重復(fù)行的方法,需要的朋友可以參考下
Linux下文本處理工具很豐富很強(qiáng)大，例如這樣一個(gè)文件：
復(fù)制代碼 代碼如下:
cat log
m.fzitv.net 192.168.1.1
m.fzitv.net 192.168.1.1
m.fzitv.net 192.168.1.2
ffffffffffffffffff
ffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
fffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
eeeeeeeeeeeeeeeeeeee
gggggggggggggggggggg
m.fzitv.net 192.168.1.1
m.fzitv.net 192.168.1.1
m.fzitv.net 192.168.1.2
ffffffffffffffffff
ffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
fffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
eeeeeeeeeeeeeeeeeeee
gggggggggggggggggggg
可用以下方法去除重復(fù)行：
1.使用uniq/sort刪除重復(fù)行
注意：?jiǎn)渭僽niq是不行的。
復(fù)制代碼 代碼如下:
shell> sort -k2n file | uniq > a.out
這里我做了個(gè)簡(jiǎn)單的測(cè)試，當(dāng)file中的重復(fù)行不再一起的時(shí)候，uniq沒(méi)法刪除所有的重復(fù)行。經(jīng)過(guò)排序后，所有相同的行都在相鄰，因此unqi可以正常刪除重復(fù)行。
2.使用用sort+awk命令
注意：?jiǎn)渭僡wk同樣不行，原因同上。
復(fù)制代碼 代碼如下:
shell> sort -k2n file | awk '{if ($0!=line) print;line=$0}'
也可以使用 awk '!i[$1]++' log;
3.用sort+sed命令，同樣需要sort命令先排序。
復(fù)制代碼 代碼如下:
shell> sort -k2n file | sed '$!N; /^\(.*\)\n\1$/!P; D'
相關(guān)文章
Linux基礎(chǔ)命令last 命令實(shí)例詳解
Linux last命令用于顯示系統(tǒng)開(kāi)機(jī)以來(lái)獲是從每月初登入者的訊息。本文主要給大家介紹Linux基礎(chǔ)命令last 命令實(shí)例詳解，感興趣的朋友跟隨小編一起看看吧2018-10-10
shell中的循環(huán)語(yǔ)句、判斷語(yǔ)句實(shí)例
這篇文章主要介紹了shell中的循環(huán)語(yǔ)句、判斷語(yǔ)句實(shí)例,本文對(duì)shell的循環(huán)語(yǔ)句、判斷語(yǔ)句做了一個(gè)小結(jié),以及在使用中的注意事項(xiàng),需要的朋友可以參考下2014-07-07
linux基礎(chǔ)之Shell Script入門(mén)介紹
本文介紹下，學(xué)習(xí)shell script編程的入門(mén)知識(shí)，通過(guò)幾個(gè)入門(mén)實(shí)例，帶領(lǐng)大家走進(jìn)shell script的神圣殿堂，呵呵，有需要的朋友參考下2013-11-11
Shell腳本實(shí)現(xiàn)在Linux系統(tǒng)中自動(dòng)安裝JDK
這篇文章主要介紹了Shell腳本實(shí)現(xiàn)在Linux系統(tǒng)中自動(dòng)安裝JDK,本文直接給出實(shí)現(xiàn)代碼,需要的朋友可以參考下2015-01-01
使用Bash Shell對(duì)目錄中的文件實(shí)現(xiàn)遞歸式拷貝
這篇文章主要介紹了使用Bash Shell對(duì)目錄中的文件實(shí)現(xiàn)遞歸式拷貝,適用于Ubuntu等Debian系的Linux系統(tǒng),需要的朋友可以參考下2015-07-07
shell批量設(shè)置key過(guò)期時(shí)間的兩種方法步驟
本文主要介紹了shell批量設(shè)置key過(guò)期時(shí)間的兩種方法步驟,包括設(shè)置?Redis?db1中所有key的過(guò)期時(shí)間,和設(shè)置未設(shè)置過(guò)期時(shí)間key的過(guò)期時(shí)間為1小時(shí),具有一定的參考價(jià)值,感興趣的可以了解一下2025-03-03
本文主要介紹了反彈shell升級(jí)全交互式shell,以提高遠(yuǎn)程控制能力,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2024-01-01
本篇文章主要介紹了Shell中的命令別名、命令歷史和命令替換的方法，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-06-06
解決bash:/root/.bashrc:Permission denied的問(wèn)題
本文主要介紹了解決bash:/root/.bashrc:Permission denied的問(wèn)題，文中通過(guò)示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-10-10
可交互的并發(fā)ping檢測(cè)腳本，供大家學(xué)習(xí)參考。重點(diǎn)& 跟wait，這樣“并發(fā)”的結(jié)果是輸出結(jié)果不是能按順序，后臺(tái)返回。如果需要再排序下2013-02-02