Shell腳本去重的幾種方法實(shí)例
更新時(shí)間：2015年07月10日 10:53:39 投稿：junjie
這篇文章主要介紹了Shell腳本去重的幾種方法實(shí)例,本文直接給出代碼實(shí)例,需要的朋友可以參考下
測試文件
復(fù)制代碼 代碼如下:
[root@bogon ~]# cat >test
jason
jason
jason
fffff
jason
按 Ctr + D保存
1、sort -u
復(fù)制代碼 代碼如下:
[root@bogon ~]# sort -u test
fffff
jason
2、uniq
復(fù)制代碼 代碼如下:
[root@bogon ~]# uniq test
jason
fffff
jason
由此可見，uniq需要先排序后才能去重
3、sort、管道和uniq結(jié)合運(yùn)用
去除重復(fù)并保留一份重復(fù)的數(shù)據(jù)
復(fù)制代碼 代碼如下:
[root@bogon ~]# sort test|uniq
fffff
jason
去除所有重復(fù)的行（不保留重復(fù)的行），并計(jì)算行數(shù)
復(fù)制代碼 代碼如下:
[root@bogon ~]# sort test|uniq -uc
1 fffff
找出所有重復(fù)的行，并計(jì)算行數(shù)
復(fù)制代碼 代碼如下:
[root@bogon ~]# sort test|uniq -dc
4 jason
根據(jù)某個(gè)字段去重
將原有數(shù)據(jù)改為
復(fù)制代碼 代碼如下:
[root@bogon ~]# more test
jason 1
jason 2
jason 1
fffff 2
jason 3
[root@bogon ~]# sort -k 1,1 -u test
fffff 2
jason 1
man sort查看sort的用法，-k參數(shù)是這么描述的：
復(fù)制代碼 代碼如下:
-k, --key=POS1[,POS2]
start a key at POS1 (origin 1), end it at POS2 (default end of line)
也就是說-k哪幾個(gè)列進(jìn)行排序，pos1是開始列，pos2是結(jié)束列
相關(guān)文章
這篇文章主要給大家介紹了Linux查看端口占用情況的常用命令,lsof命令,netstat命令,ss命令,fuser命令,ps命令以及proc文件系統(tǒng)這幾種常用命令,感興趣的小伙伴跟著小編一起來看看吧2023-11-11
本文介紹了Linux中常用的換行符LF及其在文件中的表示,展示了如何使用sed命令替換換行符,并列舉了與換行符處理相關(guān)的Linux命令,通過代碼講解的非常詳細(xì),需要的朋友可以參考下2025-04-04
這篇文章給大家介紹了Linux 刪除和替換文件中某一行的方法，非常不錯(cuò)，具有一定的參考借鑒價(jià)值，需要的朋友參考下吧2018-05-05
SHELL if命令參數(shù)介紹，方便學(xué)習(xí)shell命令的朋友，需要的朋友可以參考下2013-01-01
Shell中的while循環(huán)幾種使用實(shí)例詳解
今天小編就為大家分享一篇關(guān)于Shell中的while循環(huán)幾種使用實(shí)例詳解，小編覺得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來看看吧2019-03-03
這篇文章主要介紹了Linux中的特殊符號與正則表達(dá)式,需要的朋友可以參考下2017-09-09
bash腳本如何監(jiān)控cup/內(nèi)存/磁盤使用率
本文主要介紹了bash腳本如何監(jiān)控cup/內(nèi)存/磁盤使用率，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-10-10
gunzip是個(gè)使用廣泛的解壓縮程序，它用于解開被gzip壓縮過的文件，這些壓縮文件預(yù)設(shè)最后的擴(kuò)展名為.gz。下面通過本文給大家分享Linux 中的gunzip命令，一起看看吧2017-09-09
Linux 分區(qū)初始化為物理卷,把物理卷加入卷組的方法
下面小編就為大家?guī)硪黄狶inux 分區(qū)初始化為物理卷,把物理卷加入卷組的方法。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-03-03
shell備份文件、重命名文件、刪除指定文件的3個(gè)腳本分享
這篇文章主要介紹了shell備份文件、重命名文件、刪除指定文件的3個(gè)腳本分享,是學(xué)習(xí)shell時(shí)的練習(xí)腳本,shell新手朋友可以參考下哦2014-07-07