Linux使用split切割日志文件的示例詳解
更新時間：2025年03月27日 15:18:05 作者：江湖有緣
split 是一個在Unix和類Unix系統(tǒng)（如Linux）中非常有用的命令行工具,它用于將大文件分割成較小的片段,下面我們就來看看如何使用split進行切割日志文件吧
一、split命令介紹
split 是一個在Unix和類Unix系統(tǒng)（如Linux）中非常有用的命令行工具，它用于將大文件分割成較小的片段。這對于處理大型日志文件、數(shù)據(jù)傳輸或存儲受限的情況特別有用。
二、split命令的使用幫助
2.1 split命令help幫助信息
在命令行終端中，我們使用--help查詢split命令的基本幫助信息。
root@jeven01:~# split --help
Usage: split [OPTION]... [FILE [PREFIX]]
Output pieces of FILE to PREFIXaa, PREFIXab, ...;
default size is 1000 lines, and default PREFIX is 'x'.
With no FILE, or when FILE is -, read standard input.
Mandatory arguments to long options are mandatory for short options too.
-a, --suffix-length=N generate suffixes of length N (default 2)
--additional-suffix=SUFFIX append an additional SUFFIX to file names
-b, --bytes=SIZE put SIZE bytes per output file
-C, --line-bytes=SIZE put at most SIZE bytes of records per output file
-d use numeric suffixes starting at 0, not alphabetic
--numeric-suffixes[=FROM] same as -d, but allow setting the start value
-x use hex suffixes starting at 0, not alphabetic
--hex-suffixes[=FROM] same as -x, but allow setting the start value
-e, --elide-empty-files do not generate empty output files with '-n'
--filter=COMMAND write to shell COMMAND; file name is $FILE
-l, --lines=NUMBER put NUMBER lines/records per output file
-n, --number=CHUNKS generate CHUNKS output files; see explanation below
-t, --separator=SEP use SEP instead of newline as the record separator;
'\0' (zero) specifies the NUL character
-u, --unbuffered immediately copy input to output with '-n r/...'
--verbose print a diagnostic just before each
output file is opened
--help display this help and exit
--version output version information and exit
The SIZE argument is an integer and optional unit (example: 10K is 10*1024).
Units are K,M,G,T,P,E,Z,Y (powers of 1024) or KB,MB,... (powers of 1000).
Binary prefixes can be used, too: KiB=K, MiB=M, and so on.
CHUNKS may be:
N split into N files based on size of input
K/N output Kth of N to stdout
l/N split into N files without splitting lines/records
l/K/N output Kth of N to stdout without splitting lines/records
r/N like 'l' but use round robin distribution
r/K/N likewise but only output Kth of N to stdout
GNU coreutils online help: <https://www.gnu.org/software/coreutils/>
Full documentation <https://www.gnu.org/software/coreutils/split>
or available locally via: info '(coreutils) split invocation'
2.2 split命令選項解釋
下面是 split 命令的幫助信息翻譯成中文，并以Markdown表格的形式進行整理：
| 選項 | 描述 |
|---|---|
| -a, --suffix-length=N | 生成長度為N的后綴（默認為2） |
| --additional-suffix=SUFFIX | 在文件名后面追加額外的SUFFIX |
| -b, --bytes=SIZE | 每個輸出文件大小為SIZE字節(jié) |
| -C, --line-bytes=SIZE | 每個輸出文件最多包含SIZE字節(jié)的記錄 |
| -d | 使用從0開始的數(shù)字后綴，而不是字母后綴 |
| --numeric-suffixes[=FROM] | 與-d相同，但允許設(shè)置起始值 |
| -x | 使用從0開始的十六進制后綴，而不是字母后綴 |
| --hex-suffixes[=FROM] | 與-x相同，但允許設(shè)置起始值 |
| -e, --elide-empty-files | 當(dāng)使用’-n’時，不生成空的輸出文件 |
| --filter=COMMAND | 將內(nèi)容寫入shell命令COMMAND；文件名為$FILE |
| -l, --lines=NUMBER | 每個輸出文件包含NUMBER行/記錄 |
| -n, --number=CHUNKS | 生成CHUNKS個輸出文件；詳情見下文 |
| -t, --separator=SEP | 使用SEP作為記錄分隔符，而不是換行符；'\0’指定NUL字符 |
| -u, --unbuffered | 在使用’-n r/…'時立即復(fù)制輸入到輸出 |
| --verbose | 在打開每個輸出文件之前打印診斷信息 |
| --help | 顯示幫助信息并退出 |
| --version | 輸出版本信息并退出 |
SIZE 參數(shù)
- SIZE參數(shù)是一個整數(shù)和可選單位（例如：10K表示10*1024）。
- 單位可以是K, M, G, T, P, E, Z, Y（1024的冪）或KB, MB, …（1000的冪）。
- 也可以使用二進制前綴：KiB=K, MiB=M等。
CHUNKS 參數(shù)
- N: 根據(jù)輸入的大小分割成N個文件
- K/N: 將第K個輸出到標準輸出，總共N份
- l/N: 不拆分行/記錄地分割成N個文件
- l/K/N: 不拆分行/記錄地將第K個輸出到標準輸出，總共N份
- r/N: 類似’l’，但是使用循環(huán)分配
- r/K/N: 同上，但只輸出第K個到標準輸出
三、split命令的基本使用
3.1 生成測試文件
生成一個2M大小的測試文件
root@jeven01:/test# dd if=/dev/zero bs=1M count=2 of=test.file 2+0 records in 2+0 records out 2097152 bytes (2.1 MB, 2.0 MiB) copied, 0.00158099 s, 1.3 GB/s root@jeven01:/test# ll -h test.file -rw-r--r-- 1 root root 2.0M Oct 3 20:35 test.file
3.2 分割大小為200KB的小文件
使用-b選項，將剛才創(chuàng)建的文件分割成大小為200KB的小文件：
root@jeven01:/test# split -b 200k test.file root@jeven01:/test# ls test.file xaa xab xac xad xae xaf xag xah xai xaj xak
3.3 切割為帶數(shù)字后綴的文件
使用-a與-d選項，將大文件切割為帶數(shù)字后綴的小文件。
root@jeven01:/test# split -b 200k test.file -d -a 3 root@jeven01:/test# ll total 4104 drwxr-xr-x 2 root root 4096 Oct 3 20:42 ./ drwxr-xr-x 22 root root 4096 Sep 24 22:37 ../ -rw-r--r-- 1 root root 2097152 Oct 3 20:35 test.file -rw-r--r-- 1 root root 204800 Oct 3 20:42 x000 -rw-r--r-- 1 root root 204800 Oct 3 20:42 x001 -rw-r--r-- 1 root root 204800 Oct 3 20:42 x002 -rw-r--r-- 1 root root 204800 Oct 3 20:42 x003 -rw-r--r-- 1 root root 204800 Oct 3 20:42 x004 -rw-r--r-- 1 root root 204800 Oct 3 20:42 x005 -rw-r--r-- 1 root root 204800 Oct 3 20:42 x006 -rw-r--r-- 1 root root 204800 Oct 3 20:42 x007 -rw-r--r-- 1 root root 204800 Oct 3 20:42 x008 -rw-r--r-- 1 root root 204800 Oct 3 20:42 x009 -rw-r--r-- 1 root root 49152 Oct 3 20:42 x010
3.4 按行數(shù)分割文件
按行數(shù)分割文件：將test.file 文件每1000行分割成一個新的文件，新文件名為 logs_part_aa, logs_part_ab 等等
split -l 1000 test.file logs_part_
3.5 定文件名的前綴
切割后的文件名后綴以000等依次命名，前綴使用split_file。
root@jeven01:/test# split -b 200k test.file -d -a 3 split_file root@jeven01:/test# ll -h total 4.1M drwxr-xr-x 2 root root 4.0K Oct 3 20:57 ./ drwxr-xr-x 22 root root 4.0K Sep 24 22:37 ../ -rw-r--r-- 1 root root 200K Oct 3 20:57 split_file000 -rw-r--r-- 1 root root 200K Oct 3 20:57 split_file001 -rw-r--r-- 1 root root 200K Oct 3 20:57 split_file002 -rw-r--r-- 1 root root 200K Oct 3 20:57 split_file003 -rw-r--r-- 1 root root 200K Oct 3 20:57 split_file004 -rw-r--r-- 1 root root 200K Oct 3 20:57 split_file005 -rw-r--r-- 1 root root 200K Oct 3 20:57 split_file006 -rw-r--r-- 1 root root 200K Oct 3 20:57 split_file007 -rw-r--r-- 1 root root 200K Oct 3 20:57 split_file008 -rw-r--r-- 1 root root 200K Oct 3 20:57 split_file009 -rw-r--r-- 1 root root 48K Oct 3 20:57 split_file010 -rw-r--r-- 1 root root 2.0M Oct 3 20:35 test.file
四、注意事項
1.確保日志文件完整性：當(dāng)按行數(shù)或字節(jié)數(shù)分割日志文件時，請注意保持日志記錄的完整性。避免將一條完整的日志記錄拆分到兩個不同的文件中，這可能會導(dǎo)致日志分析時出現(xiàn)誤解?？梢允褂?-C 選項來限制每個輸出文件的最大字節(jié)數(shù)，同時盡量不拆分行。
2.合理選擇分割大?。焊鶕?jù)您的存儲需求和日志處理策略，合理設(shè)置每個分割文件的大小。過大的文件可能導(dǎo)致處理不便，而過小的文件則會增加管理復(fù)雜度。例如，如果每天生成的日志量大約是50MB，那么可以考慮將文件分割成10MB左右的小塊。
3.使用合適的后綴命名規(guī)則：為了便于管理和識別，給分割后的文件設(shè)置清晰且有意義的前綴和后綴。通過 -a 選項指定后綴長度，并使用 -d 或 --numeric-suffixes 選項為文件添加數(shù)字后綴，這樣有助于按順序處理這些文件。
4.考慮時間戳信息：如果日志文件包含時間戳，確保在分割過程中保留這一重要信息。這有助于后續(xù)根據(jù)時間進行快速定位和檢索?？梢酝ㄟ^ -t 選項自定義記錄分隔符，以適應(yīng)不同格式的時間戳。
5.測試并驗證結(jié)果：在正式應(yīng)用之前，先對少量樣本數(shù)據(jù)進行分割測試，檢查輸出文件是否符合預(yù)期。確保所有配置正確無誤后再對完整日志執(zhí)行操作。這一步驟可以幫助您提前發(fā)現(xiàn)可能的問題并及時調(diào)整方案。
6.備份原始日志文件：在進行任何切割操作之前，務(wù)必先備份原始日志文件。雖然 split 命令不會修改源文件，但備份可以防止意外刪除或其他人為錯誤導(dǎo)致的數(shù)據(jù)丟失。
到此這篇關(guān)于Linux使用split切割日志文件的示例詳解的文章就介紹到這了,更多相關(guān)Linux split切割日志文件內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Linux查看系統(tǒng)內(nèi)核版本的方法總結(jié)
在當(dāng)今這個云計算與容器化大行其道的時代,Linux?作為底層操作系統(tǒng)的重要性愈發(fā)凸顯,掌握如何查看?Linux?系統(tǒng)內(nèi)核版本都是一項基本且關(guān)鍵的技能,本文將從基礎(chǔ)命令入手,面剖析查看?Linux?內(nèi)核版本這一看似簡單實則內(nèi)涵豐富的操作,需要的朋友可以參考下2026-03-03
下面小編就為大家?guī)硪黄昝澜鉀Qlinux下U盤文件只讀的問題。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2016-12-12
這篇文章主要介紹了詳解如何在 Linux 啟動時自動執(zhí)行命令或腳本，主要有兩種方式，具有一定的參考價值，感興趣的小伙伴們可以參考一下。2017-03-03
Linux創(chuàng)建用戶組并分配用戶權(quán)限方式
這篇文章主要介紹了Linux創(chuàng)建用戶組并分配用戶權(quán)限方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2025-11-11
這篇文章主要給大家匯總介紹了Linux查看系統(tǒng)版本的幾種方法，非常的簡單實用，希望大家能夠喜歡2017-03-03
這篇文章主要介紹了Linux服務(wù)器Systemctl命令完全使用指南,本文通過實例代碼給大家介紹的非常詳細,對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友參考下吧2025-08-08
這篇文章主要介紹了【Linux】Linux中常用操作命令總結(jié)，Linux，免費開源，多用戶多任務(wù)系統(tǒng)。本文總結(jié)了一些實用常用命令,需要的朋友可以參考下。2016-11-11
在Linux系統(tǒng)中查看目錄大小的方法小結(jié)
在 Linux 系統(tǒng)中,管理文件和目錄的磁盤空間使用情況是日常維護的一部分,特別是在數(shù)據(jù)密集型的應(yīng)用場景中,了解各個目錄和文件的大小至關(guān)重要,du（disk usage）命令是一個強大的工具,可以幫助我們獲取目錄及其子目錄的大小信息,需要的朋友可以參考下2024-11-11
這篇文章主要介紹了Linux的路由表詳細介紹的相關(guān)資料,希望通過本文大家能徹底了解Linux 路由表的知識，需要的朋友可以參考下2017-08-08
Apache?RocketMQ?Docker?容器化部署方案
本文將詳細介紹如何通過Docker容器化方式部署Apache?RocketMQ,包括環(huán)境準備、鏡像拉取、容器部署、功能測試、生產(chǎn)環(huán)境優(yōu)化及故障排查等內(nèi)容,為用戶提供一套完整的容器化部署方案,感興趣的朋友跟隨小編一起看看吧2025-12-12