一 正則表達(dá)式

1 正則表達(dá)式的定義

正則表達(dá)式（Regular Expression，簡(jiǎn)稱 regex 或 regexp）是一種用于描述字符串匹配規(guī)則的文本模式。它由普通字符（如字母、數(shù)字）和元字符（特殊符號(hào)）組成，通過特定的語(yǔ)法規(guī)則實(shí)現(xiàn)對(duì)字符串的搜索、匹配、替換或提取等操作。

核心特點(diǎn)：

• 是一種迷你語(yǔ)言，獨(dú)立于編程語(yǔ)言（但各語(yǔ)言實(shí)現(xiàn)可能有細(xì)微差異）。

• 通過模式（pattern）匹配文本，而非直接比較字符串。

2 正則表達(dá)式用途

正則表達(dá)式的主要應(yīng)用場(chǎng)景包括：

關(guān)鍵記憶點(diǎn)：

• 定義：用模式描述字符串規(guī)則的文本工具。

• 用途：搜索、驗(yàn)證、替換、提取、分割文本。

• 核心價(jià)值：高效處理復(fù)雜的字符串操作，減少手動(dòng)編碼。

二 正則表達(dá)式類型

1 基礎(chǔ)正則表達(dá)式示例

以下是正則表達(dá)式的語(yǔ)法：

（1）查找特定字符

語(yǔ)法：

grep  -n  [ 參數(shù) ]  文本             //查找文本行號(hào)

grep  -nv  [ 參數(shù) ]   文本            //查找文本行號(hào)相反的參數(shù)

語(yǔ)法示例：

（2）利用中括號(hào)” [] “來(lái)查找集合字符

范圍表示法：

• [a-z]：匹配任意小寫字母。

• [A-Z]：匹配任意大寫字母。

• [0-9]：匹配任意數(shù)字。

• 組合范圍：[a-zA-Z0-9] 匹配所有字母和數(shù)字。

特殊字符轉(zhuǎn)義：

• 在 [] 內(nèi)，大多數(shù)特殊字符（如 .、*）會(huì)失去特殊含義，無(wú)需轉(zhuǎn)義。

• 但以下字符需注意：

  • ^：僅在開頭表示排除，其他位置作為普通字符。

  • -：表示范圍時(shí)（如 a-z），需放在開頭或結(jié)尾避免歧義。

  • ]：需用 \] 轉(zhuǎn)義或放在開頭。

語(yǔ)法示例：

（3）查找行首字符” ^ “與行尾字符”$“

語(yǔ)法：

行首字符” ^ “

• ^ 匹配一行的開頭位置（在行首之前的位置）。

• 通常用于確保模式出現(xiàn)在行首。

行尾字符”$“

• $ 匹配一行的結(jié)尾位置（在行末換行符之前的位置）。

• 通常用于確保模式出現(xiàn)在行尾。

語(yǔ)法示例：

grep '^hello' file.txt    # 查找以 "hello" 開頭的行

grep -v '^#' file.txt    # 查找不以 `#` 開頭的行（常用于過濾注釋行）

grep 'world$' file.txt    # 查找以 "world" 結(jié)尾的行

grep '^[A-Z]' file.txt    # 查找以大寫字母開頭的行
grep '[0-9]$' file.txt    # 查找以數(shù)字結(jié)尾的行

（4）查找任意一個(gè)字符” .“ 與重復(fù)字符”*“

在正則表達(dá)式中，.（點(diǎn)）和 *（星號(hào)）是兩個(gè)核心元字符，分別用于匹配任意單個(gè)字符和重復(fù)前一個(gè)字符/模式。

語(yǔ)法示例：

grep  -n  'w..d'   test.txt

grep  -n  'ooo*'   test.txt

grep  -n  'woo*d'   test.txt

（5）查找連續(xù)字符范圍”{}“

在正則表達(dá)式中，大括號(hào) {} 用于指定 前一個(gè)字符或模式的重復(fù)次數(shù)，是精確控制匹配數(shù)量的重要工具。

語(yǔ)法示例：

# grep (BRE)：需轉(zhuǎn)義
echo "aaa" | grep 'a\{2\}'

# grep (ERE)：免轉(zhuǎn)義
echo "aaa" | grep -E 'a{2}'

# sed (BRE)：需轉(zhuǎn)義
echo "aaa" | sed -n '/a\{2\}/p'

# sed (ERE)：免轉(zhuǎn)義
echo "aaa" | sed -E -n '/a{2}/p'

2 元字符總結(jié)

3 擴(kuò)展正則表達(dá)式

擴(kuò)展正則表達(dá)式在基礎(chǔ)正則（BRE）上增加了更強(qiáng)大的功能，通常需要加 -E 選項(xiàng)（如 grep -E 或 egrep）。

4 擴(kuò)展正則表達(dá)式和基礎(chǔ)正則表達(dá)式的對(duì)比總結(jié)

關(guān)鍵區(qū)別：

1. 語(yǔ)法簡(jiǎn)潔性

   • ERE 的 +, ?, |, () 等無(wú)需轉(zhuǎn)義，BRE 需用 \+, \?, \|, \(\)。

   • 例如匹配 color 或 colour：

     • BRE: colou\?r

     • ERE: colou?r

2. 功能擴(kuò)展性

   • ERE 支持非貪婪匹配（.*?）、或運(yùn)算（|）、更靈活的量詞，BRE 功能受限。

3. 工具兼容性

   • BRE 是傳統(tǒng) Unix 工具（如 grep、sed）的默認(rèn)模式，ERE 需通過 -E 選項(xiàng)或 egrep 啟用。

   • 現(xiàn)代語(yǔ)言（如 Python、Perl）默認(rèn)使用 ERE 或更強(qiáng)大的正則引擎（PCRE）。

如何選擇？

• 使用 BRE：兼容老舊腳本或必須使用 sed/grep 默認(rèn)模式時(shí)。

• 使用 ERE：需要更簡(jiǎn)潔的語(yǔ)法和高級(jí)功能（如 |、+）時(shí)，優(yōu)先選擇 grep -E 或 awk。

一句話總結(jié)：ERE 是 BRE 的增強(qiáng)版，語(yǔ)法更簡(jiǎn)潔、功能更強(qiáng)大，但需注意工具兼容性。

三 文本處理器

1 sed工具

sed（Stream Editor）是一個(gè)強(qiáng)大的流式文本編輯器，主要用于對(duì)文本進(jìn)行查找、替換、刪除、插入等操作，支持正則表達(dá)式，適合批量處理文本。

sed的工作流程主要包括讀取，執(zhí)行和顯示三個(gè)過程：

1. 讀取：將 "hello world" 讀入模式空間。

2. 執(zhí)行：依次執(zhí)行替換命令 → "Hi world" → "Hi universe"。

3. 顯示：輸出最終結(jié)果 "Hi universe"。

sed語(yǔ)法：

sed  [ 選項(xiàng) ]  “操作”  參數(shù)

sed  [ 選項(xiàng) ]  -f  scriptfile   參數(shù)

常見的sed命令選項(xiàng)主要包含以下幾種：

（1）輸出符合條件的文本（p表示正常輸出）

在正則表達(dá)式和文本處理工具（如 grep、sed、awk）中，p 命令 或 print 動(dòng)作 用于 顯式輸出符合條件的文本，通常與條件匹配結(jié)合使用。

語(yǔ)法示例：

grep 'pattern' file.txt      # 輸出包含 'pattern' 的整行

grep -o 'pattern' file.txt   # 僅輸出匹配 'pattern' 的部分

grep -Po 'pattern' file.txt  # 支持 Perl 兼容正則（如非貪婪匹配 `.*?`）

sed -n '/pattern/p' file.txt  # 僅輸出匹配 'pattern' 的行（`-n` 抑制默認(rèn)輸出）

（2）刪除符合條件的文本（d）

在文本處理工具（如 sed、awk、grep）中，d 命令 或 delete 動(dòng)作 用于 刪除符合條件的文本行。

語(yǔ)法示例：

sed '/pattern/d' file.txt      # 刪除匹配 `pattern` 的行

sed '1,3d' file.txt           # 刪除第1~3行
sed '$d' file.txt             # 刪除最后一行

sed '/pattern/!d' file.txt    # 刪除不匹配 `pattern` 的行（即保留匹配行）

sed -i '/error/d' log.txt     # 直接刪除文件中的錯(cuò)誤行（原文件被修改）

awk '!/pattern/' file.txt     # 刪除匹配 `pattern` 的行（`!` 表示否定）
awk 'NR>3' file.txt          # 刪除前3行（保留行號(hào)大于3的行）

（3）替換符合條件的文本

在文本處理中，替換符合條件的文本是核心操作之一，主要通過 sed、awk、grep（結(jié)合其他工具）等實(shí)現(xiàn)。

語(yǔ)法示例：

sed 's/原內(nèi)容/替換內(nèi)容/[flags]' file.txt

• s：替換命令

• flags 常用選項(xiàng)：

  • g：全局替換（一行中所有匹配）。

  • i：忽略大小寫（如 s/pattern/replace/i）。

  • p：打印替換成功的行（需與 -n 配合）。

echo "hello world" | sed 's/world/China/'      # 輸出：hello China
echo "a b a" | sed 's/a/A/g'                  # 全局替換：A b A
sed -i 's/foo/bar/g' file.txt                 # 直接修改文件

sed '2s/old/new/' file.txt       # 僅替換第2行的內(nèi)容

echo "2023-10-01" | sed 's/\([0-9]\{4\}\)-\([0-9]\{2\}\)/\2\/\1/'
# 輸出：10/2023-01（分組重組）

sed '/error/s/foo/bar/' file.txt  # 僅在含 "error" 的行替換

（4）遷移符合條件的文本

作用：在指定位置插入、追加、替換或讀取外部文件內(nèi)容。

語(yǔ)法示例：

（5）使用腳本編輯文件

以下是關(guān)于 使用腳本編輯文件 的全面總結(jié)，涵蓋常用工具（sed、awk、perl 等）、核心操作（替換、刪除、插入）

語(yǔ)法示例：

sed -i 's/old/new/g' file.txt          # 全局替換
sed '/pattern/s/old/new/' file.txt     # 僅替換匹配行

awk '{gsub(/old/, "new"); print}' file.txt > tmp && mv tmp file.txt

perl -pi -e 's/old/new/g' file.txt     # 直接修改文件

（6）sed直接操作文件示例

#!/bin/bash
#指定樣本文件路徑，配置文件路徑
SAMPLE="/usr/share/doc/vsftpd-3.0.2/EXAMPLE/INTERNET_SITE/vsftpd.conf"
CONFIG="/etc/vsftpd/vsftpd.conf"
#備份原來(lái)的配置文件，檢測(cè)文件名為/etc/vsftpd/vsftpd.conf.bak備份文件是否存在，若不存在則使用cp命令進(jìn)行文件備份
[ ! -e "$CONFIG.bak" ]&& cp $CONFIG $CONFIG.bak
#基于樣本配置進(jìn)行調(diào)整，覆蓋現(xiàn)有文件

2 awk工具

awk 是一種強(qiáng)大的文本處理工具，擅長(zhǎng)按行和列處理結(jié)構(gòu)化數(shù)據(jù)（如日志、CSV 文件），支持變量、條件判斷、循環(huán)等編程特性。

awk常用變量：

awk語(yǔ)法：

awk [選項(xiàng)] '模式 {動(dòng)作}' 文件名

• 選項(xiàng)：awk 支持一些選項(xiàng)，如 -F 用于指定字段分隔符。
• 模式：用于匹配輸入行的條件，可以是正則表達(dá)式、比較表達(dá)式等。如果省略模式，則默認(rèn)匹配所有行。
• 動(dòng)作：在匹配到的行上執(zhí)行的操作，通常是一系列的 awk 語(yǔ)句，用花括號(hào) {} 括起來(lái)。
• 文件名：要處理的輸入文件。如果省略文件名，則從標(biāo)準(zhǔn)輸入讀取數(shù)據(jù)。

（1）按行輸出文本

語(yǔ)法示例：

若要輸出一個(gè)文件的所有行，可使用 print 語(yǔ)句，它會(huì)默認(rèn)輸出當(dāng)前行。示例命令如下：

awk '{print}' filename.txt

在這個(gè)命令里，{print} 是 awk 的動(dòng)作部分，print 函數(shù)會(huì)打印當(dāng)前處理的行。filename.txt 是你要處理的文件名。若要從標(biāo)準(zhǔn)輸入讀取內(nèi)容，可省略文件名，直接輸入文本并按 Ctrl + D 結(jié)束輸入。

awk '/^hello/ {print}' filename.txt

（2）按字段輸出文本

awk默認(rèn)以空格或制表符作為字段分隔符，使用$n來(lái)表示第n個(gè)字段（n是從 1 開始的正整數(shù)），$0表示整行內(nèi)容。

語(yǔ)法示例：

awk '{print $1}' data.txt         //輸出每行的第一個(gè)字段

awk '{print $1, $3}' data.txt                //輸出每行的第一個(gè)和第三個(gè)字段

awk -F ',' '{print $2}' info.csv                //以逗號(hào)作為分隔符，輸出每行的第二個(gè)字段

awk -F ',' 'NR > 1 {printf "%-10s %d\n", $2, $3}' info.csv

//以固定寬度輸出名字和年齡

（3）通過管道，雙引號(hào)調(diào)用shell命令

awk流量控制：

語(yǔ)法：

{

        # 要執(zhí)行的 awk 操作

         command = "shell 命令"

        print $1 | command

        close(command)

}

這里的 print $1 是把 $1 字段的內(nèi)容通過管道傳遞給 command 所代表的 shell 命令。使用完管道后，需要用 close(command) 來(lái)關(guān)閉它，防止出現(xiàn)文件描述符泄漏的問題。

3 sed工具和awk工具的對(duì)比總結(jié)

sed 和 awk 是 Linux/Unix 中兩大經(jīng)典文本處理工具，雖然功能有部分重疊，但設(shè)計(jì)目標(biāo)和適用場(chǎng)景差異顯著。以下是它們的對(duì)比總結(jié)：

設(shè)計(jì)定位：

核心功能對(duì)比：

如何選用：

• 用 sed 如果：

  • 只需簡(jiǎn)單的行級(jí)編輯（如替換、刪除）。

  • 處理大文件時(shí)追求更高性能。

• 用 awk 如果：

  • 需要按列處理數(shù)據(jù)或數(shù)學(xué)計(jì)算。

  • 任務(wù)涉及條件判斷、循環(huán)或復(fù)雜邏輯。

到此這篇關(guān)于Shell編程之正則表達(dá)式與文本怎么用的文章就介紹到這了,更多相關(guān)Shell正則表達(dá)式與文本內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論