Go 處理二進制文件這麼簡單

1. 概述

1.1 爲什麼學習二進制文件讀寫

Go 語言內置了豐富的文件操作函數，可以很方便地處理文本文件。但對於音視頻、圖像等二進制文件，文本文件函數就不太適用了。

學習 Go 語言的二進制文件讀寫操作，可以更高效地處理這些非文本文件，在實際項目中也很常用。

1.2 Go 語言處理二進制文件的優勢

Go 語言處理二進制文件具有以下優勢

  1. 性能高，讀寫速度快

  2. 支持跨平臺，代碼可以在多個系統上運行

  3. 內置豐富的編碼解碼功能, 比如 JSON、XML、Protocol Buffers 等

  4. 語法簡潔，代碼可讀性好，易於編寫和維護

2. 文件操作基礎

文件操作的一些基礎知識。

2.1 創建和打開文件

使用 os.Create() 可以創建一個新文件並打開，使用 os.Open() 可以打開一個已存在的文件

file, err := os.Create("data.bin") // 創建文件
file, err := os.Open("data.bin") // 打開文件

2.2 關閉文件

打開的文件使用後需要關閉

file.Close()

2.3 錯誤處理

文件操作可能會遇到一些錯誤，需做錯誤處理

if err != nil {
    // 錯誤處理
}

3. 二進制文件讀取

下面將詳細介紹 Go 語言如何讀取二進制文件的不同數據類型。

3.1 讀取整數

可使用 binary 包按照不同字節順序讀寫整數。

3.1.1 讀取固定大小的整數

讀取一個 int32 類型的整數

var data int32
err := binary.Read(file, binary.LittleEndian, &data)

3.1.2 讀取可變大小的整數

使用 encoding/binary 包的 ReadUvarint 和 ReadVarint 函數可以讀取可變長度編碼的整數。

udata, err := binary.ReadUvarint(file)
data, err := binary.ReadVarint(file)

3.2 讀取字符串

字符串可以用 ReadString 直接讀取指定長度的字符串:

str, err := binary.ReadString(file, length)

要讀取不定長字符串, 可以先像上面那樣讀取一個整形長度, 然後再讀取指定長度的數據到字符串中。

3.3 讀取自定義結構體

可以直接讀取到一個結構體變量中

var user StructUserInfo 
err := binary.Read(file, binary.BigEndian, &user)

4. 二進制文件寫入

4.1 寫入固定大小的整數

data := int32(100)
err := binary.Write(file, binary.LittleEndian, data)

4.2 寫入可變大小的整數

使用 PutUvarint 和 PutVarint 寫入可變長度編碼的整數:

err := binary.PutUvarint(file, uint64(x))
err := binary.PutVarint(file, x)

4.3 寫入字符串

使用 WriteString 寫入字符串:

data := "Hello World"
err := binary.WriteString(file, data)

4.4 寫入自定義結構體

user := StructUserInfo{...}
err := binary.Write(file, binary.LittleEndian, user)

5. 文件指針的移動

可以通過獲取和設置文件指針的位置來隨機訪問文件內容。

5.1 指針位置的獲取

用 Seek 方法獲取當前文件的偏移量

n, err := file.Seek(0, io.SeekCurrent) // 獲取偏移量

5.2 指針位置的設置

用 Seek 將指針移動到文件開頭或結尾等位置

_, err := file.Seek(0, io.SeekStart) // 移動到開頭
_, err := file.Seek(0, io.SeekEnd) // 移動到結尾

6. 二進制文件的批量處理

6.1 批量讀取

在處理大量數據時，可通過緩衝區批量讀取數據，提高效率。下面是一個批量讀取的例子。

package main
import (
  "fmt"
  "os"
)
func main() {
  file, err := os.Open("example.bin")
  if err != nil {
    fmt.Println("Error opening file:", err)
    return
  }
  defer file.Close()
  // 設置緩衝區大小爲1024字節
  buffer := make([]byte, 1024)
  // 循環讀取數據直到文件末尾
  for {
    n, err := file.Read(buffer)
    if err != nil {
      fmt.Println("Error reading data:", err)
      break
    }
    if n == 0 {
      break
    }
    // 處理讀取到的數據
    fmt.Printf("Read %d bytes: %s\n", n, buffer[:n])
  }
}

6.2 批量寫入

同樣地，也可通過緩衝區批量寫入數據。下面是批量寫入的例子。

package main
import (
  "fmt"
  "os"
)
func main() {
  file, err := os.Create("example.bin")
  if err != nil {
    fmt.Println("Error creating file:", err)
    return
  }
  defer file.Close()
  // 設置緩衝區大小爲1024字節
  buffer := make([]byte, 1024)
  // 循環寫入數據
  for i := 0; i < 10; i++ {
    // 將數據寫入緩衝區
    data := []byte(fmt.Sprintf("Data %d\n", i))
    copy(buffer, data)
    // 寫入緩衝區數據到文件
    _, err := file.Write(buffer)
    if err != nil {
      fmt.Println("Error writing data:", err)
      return
    }
  }
  fmt.Println("Batch writing completed.")
}

7. 實戰案例: 日誌文件的解析與生成

下面以一個日誌文件爲例，演示二進制文件讀寫的實際運用。

7.1 日誌文件結構分析

假設日誌文件的結構如下

type LogHeader struct {
    Magic   uint16 // 魔數 
    Version uint16 // 版本號
    Length  uint32 // 日誌長度
}
type LogItem struct {
    Time    int64  // 時間   
    Message string // 日誌消息
}

7.2 解析日誌文件

解析該日誌文件代碼如下

func ReadLog(path string) ([]LogItem, error) {
    file, err := os.Open(path)
    if err != nil {
        return nil, err
    }
    defer file.Close()
    var header LogHeader
    if err := binary.Read(file, binary.BigEndian, &header); err != nil {
        return nil, err
    }
    var logs []LogItem
    for i := 0; i < int(header.Length); i++ {
        var log LogItem
        if err := binary.Read(file, binary.BigEndian, &log); err != nil {
            return nil, err 
        }
        logs = append(logs, log)
    }
    return logs, nil
}

7.3 生成日誌文件

func WriteLog(path string, logs []LogItem) error {
    file, err := os.Create(path)
    if err != nil {
        return err
    }
    defer file.Close()
    header := LogHeader{
        Magic:   0xDEADBEEF,
        Version: 1,
        Length:  uint32(len(logs)),
    }
    if err := binary.Write(file, binary.BigEndian, header); err != nil {
        return err
    }
    for _, log := range logs {
        if err := binary.Write(file, binary.BigEndian, log); err != nil {
            return err
        }
    }
    return nil
}

8. 性能優化技巧

8.1 緩衝區的使用

通過緩衝區讀寫可以減少 IO 操作次數, 優化性能。使用 bufio 包實現緩衝讀寫。

8.2 併發讀寫操作

可通過 goroutine 實現文件讀寫的併發操作, 提高性能。需要正確同步訪問文件指針位置。

9. 安全性考慮

9.1 數據校驗

寫入文件時, 可以增加 CRC32、MD5 等數據校驗，讀取時驗證數據完整性。

9.2 異常處理

注意添加錯誤處理邏輯，防止程序異常退出。

總結

通過上面介紹，瞭解了 Go 語言二進制文件的各種讀寫操作，包括整數、字符串、結構體的編碼與解碼，指針操作，批量讀寫與性能優化等技巧，並用日誌文件解析和生成的例子做了實戰演練。

Go 語言處理二進制文件的功能非常強大，可以開發出高性能和安全的文件處理程序。

本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/_JCGL_5do4k2O6Gpl9dQOw

猜你喜歡