Linux刪除重復(fù)行的代碼
發(fā)布時間：2016-11-25 23:26:11 作者：佚名 
我要評論
我要評論這篇文章主要介紹了Linux刪除重復(fù)行的代碼,需要的朋友可以參考下
文本處理時，經(jīng)常要刪除重復(fù)行，下面是三種方法
第一，用sort+uniq，注意，單純uniq是不行的。
sort -n test.txt | uniq
第二，用sort+awk命令，注意，單純awk同樣不行，原因同上。
sort -n $file | awk '{if($0!=line)print; line=$0}'
第三，用sort+sed命令，同樣需要sort命令先排序。
sort -n $file | sed '$!N; /^.∗\n\1$/!P; D'
Shell腳本
# !/bin/sh
file='test.txt'
sort -n $file | uniq
sort -n $file | awk '{if($0!=line)print; line=$0}'
sort -n $file | sed '$!N; /^\(.*\)\n\1$/!P; D'
測試文件：
yanggang@barry$ cat test.txt
aaa
bbbbb
ccccc
123
aaaaa
123
bbb
aaa
執(zhí)行結(jié)果：
yanggang@barry$ ./diffRow.sh
aaa
aaaaa
bbb
bbbbb
ccccc
123
相關(guān)文章
集成系統(tǒng)級Claw模式! Deepin 官宣發(fā)布 25.1 版本
deepin操作系統(tǒng)發(fā)布了最新的 25.1 版本更新，該版本基于 deepin 25 正式版積累的多輪內(nèi)測成果，在 AI 能力、內(nèi)核版本、桌面環(huán)境、文件管理器以及系統(tǒng)安全等方面進行了更新2026-04-13
又一代老硬件退場! Linux 內(nèi)核正式放棄Intel 486 CPU
在過去的幾十年間，CPU 的架構(gòu)已經(jīng)經(jīng)歷了飛速發(fā)展，x86 系列就是其中之一，而 i486 則屬于該系列中的一個，當前，i486 的CPU處理器已經(jīng)夠老，從 Linux 7.1 開始將不再有對2026-04-09趕緊收藏! 全網(wǎng)最全 Linux 命令總結(jié)
我把 Linux 中最常用、最實用、最常被問到的命令按照實際使用場景分類整理，方便你快速查閱和記憶，內(nèi)容覆蓋日常運維、開發(fā)調(diào)試、性能分析、文件處理、網(wǎng)絡(luò)、安全、系統(tǒng)管2026-04-08一分鐘內(nèi)檢查Linux服務(wù)器性能? 9個性能檢測常用的基本命令
今天我們來看看Linux系統(tǒng)中用于性能監(jiān)控的一系列命令，這些命令可以快速查看機器的負載情況，詳細請看下文介紹2026-03-18從零基礎(chǔ)到精通! 適合高級用戶的15款Linux發(fā)行版推薦
Linux作為操作系統(tǒng)領(lǐng)域靈活性和可定制性的基石，提供了大量滿足不同用戶需求的發(fā)行版，今天分享適合高級用戶的15款Linux發(fā)行版2026-03-10開箱即用? 這4個高手級Linux發(fā)行版遠沒你想象的那么安全易用
如果你正在糾結(jié)用哪個發(fā)行版？零基礎(chǔ)新手別被“高端”“極客”“聲明式”這些詞沖昏頭腦，先用好用的，再慢慢進階2026-03-10這幾款SSH工具真的夠用了! Linux好用的ssh工具推薦
在Linux上使用SSH，您需要安裝一個SSH客戶端，今天整理找到的8 款 SSH / 終端工具，從免費開源到企業(yè)級商用，從輕量化命令行到一站式工具箱，每款都做了介紹與對比，希望能2026-03-09- 在Linux系統(tǒng)下有兩種用戶，即高級用戶root，普通用戶，高級用戶root可以在系統(tǒng)中做任何事情，普通用戶僅可在Linux系統(tǒng)中做有限的事情，下面我們就來看看切換方法2026-02-28
揭秘當前登錄用戶的身份! Linux中使用logname命令的技巧
logname命令就是這樣一個簡單但強大的工具，它能幫助我們輕松獲取當前登錄用戶的用戶名,今天，我們就來深入探索一下這個命令的工作原理、使用方法和最佳實踐2026-02-26- 在 Linux 系統(tǒng)中，DNS 緩存是一種將域名和 IP 地址映射關(guān)系緩存在本地的機制，可以加快域名解析速度，并減輕 DNS 服務(wù)器的負載2026-02-26
