UTF-8 編碼中BOM的檢測(cè)與刪除
更新時(shí)間：2011年09月02日 13:29:40 作者：
所謂BOM，全稱是Byte Order Mark，它是一個(gè)Unicode字符，通常出現(xiàn)在文本的開頭，用來標(biāo)識(shí)字節(jié)序（Big/Little Endian），除此以外還可以標(biāo)識(shí)編碼（UTF-8/16/32），如果出現(xiàn)在文本中間，則解釋為zero width no-break space。
注：Unicode相關(guān)知識(shí)的詳細(xì)介紹請(qǐng)參考UTF-8, UTF-16, UTF-32 & BOM。
對(duì)于UTF-8/16/32而言，它們名字中的8/16/32指的是編碼單位是多少位的，也就是說，它們的編碼單位分別是8/16/32位，換算成字節(jié)就是1/2/4字節(jié)，如果是多字節(jié)，就要牽扯到字節(jié)序，UTF-8以單字節(jié)為編碼單位，所以不存在字節(jié)序。
UTF-8主要的優(yōu)點(diǎn)是可以兼容ASCII，但如果使用BOM的話，這個(gè)好處就蕩然無存了，除此以外，BOM的存在還可能引發(fā)一些問題，比如下面錯(cuò)誤便都有可能是BOM導(dǎo)致的：
Shell: #!/bin/sh: No such file or directory
PHP: Warning: Cannot modify header information – headers already sent
在詳細(xì)討論UTF-8編碼中BOM的檢測(cè)與刪除問題前，不妨先通過一個(gè)例子熱熱身：
shell> curl -s http://phone.jb51.net/ | head -1 | sed -n l
\357\273\277<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional\
//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">\r$
如上所示，前三個(gè)字節(jié)分別是357、273、277，這就是八進(jìn)制的BOM。
shell> curl -s http://phone.jb51.net/ | head -1 | hexdump -C
00000000 ef bb bf 3c 21 44 4f 43 54 59 50 45 20 68 74 6d |...<!DOCTYPE htm|
00000010 6c 20 50 55 42 4c 49 43 20 22 2d 2f 2f 57 33 43 |l PUBLIC "-//W3C|
00000020 2f 2f 44 54 44 20 58 48 54 4d 4c 20 31 2e 30 20 |//DTD XHTML 1.0 |
00000030 54 72 61 6e 73 69 74 69 6f 6e 61 6c 2f 2f 45 4e |Transitional//EN|
00000040 22 20 22 68 74 74 70 3a 2f 2f 77 77 77 2e 77 33 |" "http://www.w3|
00000050 2e 6f 72 67 2f 54 52 2f 78 68 74 6d 6c 31 2f 44 |.org/TR/xhtml1/D|
00000060 54 44 2f 78 68 74 6d 6c 31 2d 74 72 61 6e 73 69 |TD/xhtml1-transi|
00000070 74 69 6f 6e 61 6c 2e 64 74 64 22 3e 0d 0a |tional.dtd">..|
如上所示，前三個(gè)字節(jié)分別是EF、BB、BF，這就是十六進(jìn)制的BOM。
注：用到了第三方網(wǎng)站的頁面，不能保證例子始終可用。
實(shí)際做項(xiàng)目開發(fā)時(shí)，可能會(huì)面對(duì)成百上千個(gè)文本文件，如果有幾個(gè)文件混入了BOM，那么很難察覺，如果沒有帶BOM的UTF-8文本文件例子，可以用vi杜撰幾個(gè)，相關(guān)命令如下：
#設(shè)置UTF-8編碼
:set fileencoding=utf-8
#添加BOM
:set bomb
#刪除BOM
:set nobomb
#查詢BOM
:set bomb?
如何檢測(cè)UTF-8編碼中的BOM呢？
shell> grep -r -I -l $'^\xEF\xBB\xBF' /path
如何刪除UTF-8編碼中的BOM呢？
shell> grep -r -I -l $'^\xEF\xBB\xBF' /path | xargs sed -i 's/^\xEF\xBB\xBF//;q'
推薦：如果你使用SVN的話，可以在pre-commit鉤子里加上相關(guān)代碼用以杜絕BOM。
#!/bin/sh
REPOS="$1"
TXN="$2"
SVNLOOK=/usr/bin/svnlook
FILES=`$SVNLOOK changed -t "$TXN" "$REPOS" | awk '/^[UA]/ {print $2}'`
for FILE in $FILES; do
if $SVNLOOK cat -t "$TXN" "$REPOS" "$FILE" | grep -q $'^\xEF\xBB\xBF'; then
echo "Byte Order Mark be found in $FILE" 1>&2
exit 1
fi
done
本文用到了很多shell命令，篇幅所限，恕不詳述，如果有不明白的就請(qǐng)自己搜索吧。
對(duì)于UTF-8/16/32而言，它們名字中的8/16/32指的是編碼單位是多少位的，也就是說，它們的編碼單位分別是8/16/32位，換算成字節(jié)就是1/2/4字節(jié)，如果是多字節(jié)，就要牽扯到字節(jié)序，UTF-8以單字節(jié)為編碼單位，所以不存在字節(jié)序。
UTF-8主要的優(yōu)點(diǎn)是可以兼容ASCII，但如果使用BOM的話，這個(gè)好處就蕩然無存了，除此以外，BOM的存在還可能引發(fā)一些問題，比如下面錯(cuò)誤便都有可能是BOM導(dǎo)致的：
Shell: #!/bin/sh: No such file or directory
PHP: Warning: Cannot modify header information – headers already sent
在詳細(xì)討論UTF-8編碼中BOM的檢測(cè)與刪除問題前，不妨先通過一個(gè)例子熱熱身：
shell> curl -s http://phone.jb51.net/ | head -1 | sed -n l
\357\273\277<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional\
//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">\r$
如上所示，前三個(gè)字節(jié)分別是357、273、277，這就是八進(jìn)制的BOM。
shell> curl -s http://phone.jb51.net/ | head -1 | hexdump -C
00000000 ef bb bf 3c 21 44 4f 43 54 59 50 45 20 68 74 6d |...<!DOCTYPE htm|
00000010 6c 20 50 55 42 4c 49 43 20 22 2d 2f 2f 57 33 43 |l PUBLIC "-//W3C|
00000020 2f 2f 44 54 44 20 58 48 54 4d 4c 20 31 2e 30 20 |//DTD XHTML 1.0 |
00000030 54 72 61 6e 73 69 74 69 6f 6e 61 6c 2f 2f 45 4e |Transitional//EN|
00000040 22 20 22 68 74 74 70 3a 2f 2f 77 77 77 2e 77 33 |" "http://www.w3|
00000050 2e 6f 72 67 2f 54 52 2f 78 68 74 6d 6c 31 2f 44 |.org/TR/xhtml1/D|
00000060 54 44 2f 78 68 74 6d 6c 31 2d 74 72 61 6e 73 69 |TD/xhtml1-transi|
00000070 74 69 6f 6e 61 6c 2e 64 74 64 22 3e 0d 0a |tional.dtd">..|
如上所示，前三個(gè)字節(jié)分別是EF、BB、BF，這就是十六進(jìn)制的BOM。
注：用到了第三方網(wǎng)站的頁面，不能保證例子始終可用。
實(shí)際做項(xiàng)目開發(fā)時(shí)，可能會(huì)面對(duì)成百上千個(gè)文本文件，如果有幾個(gè)文件混入了BOM，那么很難察覺，如果沒有帶BOM的UTF-8文本文件例子，可以用vi杜撰幾個(gè)，相關(guān)命令如下：
#設(shè)置UTF-8編碼
:set fileencoding=utf-8
#添加BOM
:set bomb
#刪除BOM
:set nobomb
#查詢BOM
:set bomb?
如何檢測(cè)UTF-8編碼中的BOM呢？
shell> grep -r -I -l $'^\xEF\xBB\xBF' /path
如何刪除UTF-8編碼中的BOM呢？
shell> grep -r -I -l $'^\xEF\xBB\xBF' /path | xargs sed -i 's/^\xEF\xBB\xBF//;q'
推薦：如果你使用SVN的話，可以在pre-commit鉤子里加上相關(guān)代碼用以杜絕BOM。
復(fù)制代碼 代碼如下:
#!/bin/sh
REPOS="$1"
TXN="$2"
SVNLOOK=/usr/bin/svnlook
FILES=`$SVNLOOK changed -t "$TXN" "$REPOS" | awk '/^[UA]/ {print $2}'`
for FILE in $FILES; do
if $SVNLOOK cat -t "$TXN" "$REPOS" "$FILE" | grep -q $'^\xEF\xBB\xBF'; then
echo "Byte Order Mark be found in $FILE" 1>&2
exit 1
fi
done
本文用到了很多shell命令，篇幅所限，恕不詳述，如果有不明白的就請(qǐng)自己搜索吧。
相關(guān)文章
如何通過阿里云實(shí)現(xiàn)動(dòng)態(tài)域名解析DDNS的方法
這篇文章主要介紹了如何通過阿里云實(shí)現(xiàn)動(dòng)態(tài)域名解析DDNS的方法,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-07-07
本文主要介紹了RIFF文件的格式和WAV音頻文件格式，為后面實(shí)現(xiàn)對(duì)WAVE文件的讀寫打一個(gè)理論基礎(chǔ)。后面打算使用C++標(biāo)準(zhǔn)庫，實(shí)現(xiàn)對(duì)WAV文件的讀寫2022-01-01
游戲開發(fā)進(jìn)階Unity網(wǎng)格(Mesh\動(dòng)態(tài)合批\骨骼動(dòng)畫\蒙皮)
本篇文章是進(jìn)階篇文章主要講解游戲開發(fā)進(jìn)階，主要包含的技術(shù)有Mesh，動(dòng)態(tài)合批，骨骼動(dòng)畫，蒙皮下面一起進(jìn)入U(xiǎn)nity網(wǎng)格探險(xiǎn)之旅吧2021-09-09
詳解VSCode打開多個(gè)項(xiàng)目文件夾的解決方法
這篇文章主要介紹了詳解VSCode打開多個(gè)項(xiàng)目文件夾的解決方法,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-04-04
WEB性能測(cè)試工具主要分為三種，一種是測(cè)試頁面資源加載速度的，一種是測(cè)試頁面加載完畢后頁面呈現(xiàn)、JS操作速度的，還有一種是總體上對(duì)頁面進(jìn)行評(píng)價(jià)分析，下面分別對(duì)這些工具進(jìn)行介紹，如果誰有更好的工具也請(qǐng)一起分享下。2010-05-05
本文主要介紹Git 安裝配置，這里對(duì)Linux，Windows，Mac平臺(tái)的安裝做了詳細(xì)介紹，有需要的朋友可以參考下2016-09-09
這篇文章主要為大家介紹了詳解如何設(shè)置git命令縮寫，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-09-09
本文主要介紹了git?pull和git?clone的區(qū)別詳解，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-07-07
網(wǎng)絡(luò)抓包工具wireshark入門教程詳解
Wireshark是一個(gè)網(wǎng)絡(luò)數(shù)據(jù)包分析軟件,功能非常強(qiáng)大，奈何他是英文版的，今天就為大家詳細(xì)介紹一下網(wǎng)絡(luò)抓包工具wireshark的使用教程2018-10-10
Istio?訪問外部服務(wù)流量控制最常用的5個(gè)技巧示例
這篇文章主要介紹了Istio訪問外部服務(wù)流量控制最常用5個(gè)技巧示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-06-06