Linux 刪除文本中的重復(fù)行的方法
我要評(píng)論在進(jìn)行文本處理的時(shí)候，我們經(jīng)常遇到要?jiǎng)h除重復(fù)行的情況。那怎么解決呢？
下面就是三種常見方法？
第一，用sort+uniq，注意，單純uniq是不行的。
shell> sort -k2n file | uniq
這里我做了個(gè)簡(jiǎn)單的測(cè)試，當(dāng)file中的重復(fù)行不再一起的時(shí)候，uniq將服務(wù)刪除所有的重復(fù)行。經(jīng)過排序后，所有相同的行都在相鄰，因此unqi可以正常刪除重復(fù)行。
第二，用sort+awk命令，注意，單純awk同樣不行，原因同上。
shell> sort -k2n file | awk '{if ($0!=line) print;line=$0}'
當(dāng)然，自己把管道后面的代碼重新設(shè)計(jì)一下，可能不需要sort命令先排序拉。
第三，用sort+sed命令，同樣需要sort命令先排序。
shell> sort -k2n file | sed '$!N; /^.∗\n\1$/!P; D'
最后附一個(gè)必須先用sort排序的文本的例子，當(dāng)然，這個(gè)需要用sort排序的原因是很簡(jiǎn)單，就是后面算法設(shè)計(jì)的時(shí)候的“局部性”，相同的行可能分散出現(xiàn)在不同的區(qū)域，一旦有新的相同行出現(xiàn)，那么前面的已經(jīng)出現(xiàn)的記錄就被覆蓋了，看了這個(gè)例子就好理解拉。
ffffffffffffffffff
ffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
fffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
eeeeeeeeeeeeeeeeeeee
gggggggggggggggggggg
其實(shí)，這是我隨便打進(jìn)去的幾行字，沒想到就是必須用sort的很好例子，大家可以自己試試看。
相關(guān)文章
集成系統(tǒng)級(jí)Claw模式! Deepin 官宣發(fā)布 25.1 版本
deepin操作系統(tǒng)發(fā)布了最新的 25.1 版本更新，該版本基于 deepin 25 正式版積累的多輪內(nèi)測(cè)成果，在 AI 能力、內(nèi)核版本、桌面環(huán)境、文件管理器以及系統(tǒng)安全等方面進(jìn)行了更新2026-04-13
又一代老硬件退場(chǎng)! Linux 內(nèi)核正式放棄Intel 486 CPU
在過去的幾十年間，CPU 的架構(gòu)已經(jīng)經(jīng)歷了飛速發(fā)展，x86 系列就是其中之一，而 i486 則屬于該系列中的一個(gè)，當(dāng)前，i486 的CPU處理器已經(jīng)夠老，從 Linux 7.1 開始將不再有對(duì)2026-04-09趕緊收藏! 全網(wǎng)最全 Linux 命令總結(jié)
我把 Linux 中最常用、最實(shí)用、最常被問到的命令按照實(shí)際使用場(chǎng)景分類整理，方便你快速查閱和記憶，內(nèi)容覆蓋日常運(yùn)維、開發(fā)調(diào)試、性能分析、文件處理、網(wǎng)絡(luò)、安全、系統(tǒng)管2026-04-08一分鐘內(nèi)檢查L(zhǎng)inux服務(wù)器性能? 9個(gè)性能檢測(cè)常用的基本命令
今天我們來(lái)看看Linux系統(tǒng)中用于性能監(jiān)控的一系列命令，這些命令可以快速查看機(jī)器的負(fù)載情況，詳細(xì)請(qǐng)看下文介紹2026-03-18從零基礎(chǔ)到精通! 適合高級(jí)用戶的15款Linux發(fā)行版推薦
Linux作為操作系統(tǒng)領(lǐng)域靈活性和可定制性的基石，提供了大量滿足不同用戶需求的發(fā)行版，今天分享適合高級(jí)用戶的15款Linux發(fā)行版2026-03-10開箱即用? 這4個(gè)高手級(jí)Linux發(fā)行版遠(yuǎn)沒你想象的那么安全易用
如果你正在糾結(jié)用哪個(gè)發(fā)行版？零基礎(chǔ)新手別被“高端”“極客”“聲明式”這些詞沖昏頭腦，先用好用的，再慢慢進(jìn)階2026-03-10這幾款SSH工具真的夠用了! Linux好用的ssh工具推薦
在Linux上使用SSH，您需要安裝一個(gè)SSH客戶端，今天整理找到的8 款 SSH / 終端工具，從免費(fèi)開源到企業(yè)級(jí)商用，從輕量化命令行到一站式工具箱，每款都做了介紹與對(duì)比，希望能2026-03-09- 在Linux系統(tǒng)下有兩種用戶，即高級(jí)用戶root，普通用戶，高級(jí)用戶root可以在系統(tǒng)中做任何事情，普通用戶僅可在Linux系統(tǒng)中做有限的事情，下面我們就來(lái)看看切換方法2026-02-28
揭秘當(dāng)前登錄用戶的身份! Linux中使用logname命令的技巧
logname命令就是這樣一個(gè)簡(jiǎn)單但強(qiáng)大的工具，它能幫助我們輕松獲取當(dāng)前登錄用戶的用戶名,今天，我們就來(lái)深入探索一下這個(gè)命令的工作原理、使用方法和最佳實(shí)踐2026-02-26- 在 Linux 系統(tǒng)中，DNS 緩存是一種將域名和 IP 地址映射關(guān)系緩存在本地的機(jī)制，可以加快域名解析速度，并減輕 DNS 服務(wù)器的負(fù)載2026-02-26
