Golang 按行讀取文件的三種方法小結

更新時間：2023年04月25日 09:14:21 作者：戀喵大鯉魚

本文主要介紹了Golang 按行讀取文件的三種方法小結,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧

1.使用 bufio.Scanner 讀取文件

Golang 中有一個 bufio 包，它提供了 Scanner 類型，可以方便地按行讀取文件。我們可以使用 Scanner 的 Scan() 方法來讀取每一行。

bufio.Scanner是一個基于緩沖區(qū)的數(shù)據(jù)掃描器，它提供了方便的逐行/逐詞讀取操作。Scan 方法是bufio.Scanner 的一個核心方法，用于掃描緩沖區(qū)中的數(shù)據(jù)并返回掃描到的下一個 Token。

Scan 方法的簽名如下：

func (s *Scanner) Scan() bool

該方法返回一個 bool 類型值，表示掃描是否成功。如果掃描成功，該方法會將下一個Token讀取出來并保存在Scanner的Text字段中。如果掃描失敗，則返回false。

在讀取Token之前，Scanner會將緩沖區(qū)中的數(shù)據(jù)讀取到底層的Reader中，并從底層的Reader中獲取新的數(shù)據(jù)填充到緩沖區(qū)中。因此，在Scan方法調用之前，Scanner的緩沖區(qū)中可能已經(jīng)包含了一部分數(shù)據(jù)，也可能為空。

掃描過程中，Scanner會將緩沖區(qū)中的數(shù)據(jù)按照分隔符進行分割，并將分割后的Token返回。默認情況下，Scanner使用換行符作為分隔符，即每次掃描一行數(shù)據(jù)。如果需要使用其他分隔符，可以使用Scanner的Split方法進行設置。

// ReadLines reads all lines of the file.
func ReadLines(path string) ([]string, error) {
?? ?file, err := os.Open(path)
?? ?if err != nil {
?? ??? ?return nil, err
?? ?}
?? ?defer file.Close()

?? ?var lines []string
?? ?scanner := bufio.NewScanner(file)
?? ?for scanner.Scan() {
?? ??? ?lines = append(lines, scanner.Text())
?? ?}
?? ?return lines, scanner.Err()
}

上面的代碼中，我們首先使用 NewScanner() 函數(shù)創(chuàng)建一個 Scanner 對象。然后在 for 循環(huán)中，我們使用 Scanner 的 Scan() 方法讀取文件的每一行，然后使用 Text() 方法獲取每一行的內(nèi)容。最后，我們將獲取到的行追加到字符串切片中。

2.使用 bufio.Reader 讀取文件

除了使用 Scanner 類型之外，我們還可以使用 bufio 包中的 Reader 類型按行讀取文件。在使用 bufio.Reader 時，我們需要使用 ReadBytes() 或 ReadString() 方法來讀取每一行，示例代碼如下：

// ReadLinesV2 reads all lines of the file.
func ReadLinesV2(path string) ([]string, error) {
?? ?file, err := os.Open(path)
?? ?if err != nil {
?? ??? ?return nil, err
?? ?}
?? ?defer file.Close()

?? ?var lines []string
?? ?reader := bufio.NewReader(file)
?? ?for {
?? ??? ?// ReadString reads until the first occurrence of delim in the input,
?? ??? ?// returning a string containing the data up to and including the delimiter.
?? ??? ?line, err := reader.ReadString('\n')
?? ??? ?if err == io.EOF {
?? ??? ??? ?lines = append(lines, line)
?? ??? ??? ?break
?? ??? ?}
?? ??? ?if err != nil {
?? ??? ??? ?return lines, err
?? ??? ?}
?? ??? ?lines = append(lines, line[:len(line)-1])
?? ?}
?? ?return lines, nil
}

上面的代碼中，我們使用 NewReader() 函數(shù)創(chuàng)建一個 Reader 對象。在 for 循環(huán)中，我們使用 ReadString() 函數(shù)讀取每一行的內(nèi)容，并將其追加到字符串切片中。

需要注意的是，在使用 ReadString() 函數(shù)時，我們需要指定分隔符，例如 ‘\n’ 表示以換行符為分隔符。如果讀取的文件中沒有指定的分隔符，ReadString() 函數(shù)會返回一個錯誤，因此我們需要在 for 循環(huán)中檢查是否發(fā)生了錯誤。

3.使用 bufio.Reader 的 ReadLine 讀取文件

使用 bufio.Reader 逐行讀取文件時，除了使用 ReadBytes() 或 ReadString() 方法，還可以使用 ReadLine() 函數(shù)。

// ReadLinesV3 reads all lines of the file.
func ReadLinesV3(path string) ([]string, error) {
?? ?f, err := os.Open(path)
?? ?if err != nil {
?? ??? ?return nil, err
?? ?}
?? ?defer f.Close()

?? ?var lines []string
?? ?r := bufio.NewReader(f)
?? ?for {
?? ??? ?// ReadLine is a low-level line-reading primitive.
?? ??? ?// Most callers should use ReadBytes('\n') or ReadString('\n') instead or use a Scanner.
?? ??? ?bytes, _, err := r.ReadLine()
?? ??? ?if err == io.EOF {
?? ??? ??? ?break
?? ??? ?}
?? ??? ?if err != nil {
?? ??? ??? ?return lines, err
?? ??? ?}
?? ??? ?lines = append(lines, string(bytes))
?? ?}
?? ?return lines, nil
}

使用 bufio.Reader 的 ReadLine() 方法可以讀取一行數(shù)據(jù)，但是需要注意它的返回值。ReadLine() 函數(shù)的返回值包括三個部分：讀取到的數(shù)據(jù)、是否讀取完整一行以及錯誤信息。如果讀取到的數(shù)據(jù)超出了緩存區(qū)的大小，它會返回一個錯誤信息，而不是完整的一行數(shù)據(jù)。

因此，如果讀取的一行數(shù)據(jù)的長度超過了緩存區(qū)的大小，ReadLine() 函數(shù)將無法讀取到完整的一行數(shù)據(jù)。為了避免這種情況的發(fā)生，我們可以通過設置緩存區(qū)的大小來解決。

ReadLine 是一個低級的行讀取原語。大多數(shù)調用者應該使用 ReadBytes(‘\n’) 或 ReadString(‘\n’)，或者使用 Scanner。

4.go-huge-util

本文實現(xiàn)的函數(shù)已放置開源倉庫 dablelv/go-huge-util，歡迎大家使用。

package main

import (
?? ?"github.com/dablelv/go-huge-util/file"
)

func main() {
?? ?path := "your/file/path"
?? ?lines, err := file.ReadLines(path)
?? ?lines, err = file.ReadLinesV2(path)
?? ?lines, err = file.ReadLinesV3(path)
}

推薦使用 file.ReadLines。

go-huge-util 除了類型轉換，還有很多其他實用函數(shù)，如加解密、zip 解壓縮等，歡迎大家使用、Star、Issue 和 Pull Request。