Apache Iceberg 概述-鏈接

Apache Iceberg 底層數(shù)據(jù)存儲

Iceberg 數(shù)據(jù)組織圖（HDFS）: 5個SnapShot對應(yīng)5個manifest list清單列表。

1.查詢最新快照數(shù)據(jù)

獲取最新元數(shù)據(jù)
獲取 Iceberg 表的最新元數(shù)據(jù)文件，eg：00000-ec504.metadata.json。

解析元數(shù)據(jù)
從元數(shù)據(jù)文件中提取以下信息：

• 當(dāng)前表的快照 ID：949358624197301886
• 所有快照信息：在 JSON 中的 snapshots 數(shù)組。

獲取快照文件信息
根據(jù)快照 ID，找到對應(yīng)的 Avro 文件信息，eg：snap--32800.avro。

在該快照文件中，提取 Manifest File清單文件信息：

• *32800-m0.avro
• *2abba-m0.avro
• *d33de-m0.avro
• *748bf-m0.avro
• *b946e-m0.avro

讀取最新數(shù)據(jù)
讀取以上 Manifest File清單文件中描述的 Parquet 數(shù)據(jù)文件（Data files）。

分析 Snap 文件
在 snap--32800.avro 文件中，可以找到以下屬性：

• deleted data files count
• added data files count
• existing data files count

判斷數(shù)據(jù)文件狀態(tài)
Iceberg 根據(jù) deleted data files count 判斷是否存在被刪除的數(shù)據(jù)：

如果該值大于 0，表示對應(yīng)的 Manifest 文件中有已刪除的數(shù)據(jù)。讀取數(shù)據(jù)時，無需讀取這些被刪除的文件。

Manifest 清單文件分析
根據(jù) Manifest 清單文件，找到對應(yīng)的 Parquet 文件存儲位置。
每個 Manifest 文件中有 status 屬性：

1：代表對應(yīng)的 Parquet 文件為新增文件，需要讀取。

2：代表 Parquet 文件被刪除。

2.查詢指定快照（歷史快照）數(shù)據(jù)

Apache Iceberg 支持查詢歷史上任何時刻的快照。

要查詢特定快照，需要指定 snapshot-id 屬性，可以通過 Spark 或 Flink 實現(xiàn)。

在 Spark 中查詢指定快照的數(shù)據(jù)：

spark.read
  .option("snapshot-id", 6155488348798912701L)
  .format("iceberg")
  .load("path")

查詢某個快照數(shù)據(jù)的原理：

指定快照 ID
在讀取數(shù)據(jù)時，通過 snapshot-id 指定要查詢的快照。

查找快照信息
Iceberg 會根據(jù)指定的快照 ID 檢索相關(guān)的元數(shù)據(jù)（如下metadata里面的snapshots數(shù)組），包括快照中包含的數(shù)據(jù)文件和 Manifest 文件。

3.根據(jù)時間戳查詢某個快照數(shù)據(jù)

Apache Iceberg 支持通過 as-of-timestamp 參數(shù)讀取特定時間戳的快照數(shù)據(jù)，通常也是通過 Spark 或 Flink 實現(xiàn)。

在 Spark 中根據(jù)時間戳查詢數(shù)據(jù)：

spark.read
  .option("as-of-timestamp", "時間戳")
  .format("iceberg")
  .load("path")

指定時間戳
使用 as-of-timestamp 指定要查詢的時間點(diǎn)。

查找快照信息
Iceberg 將查找與時間戳對應(yīng)的快照，利用 *.metadata.json 文件中的信息。

屬性解析
在元數(shù)據(jù)文件中，除了 current-snapshot-id 和 snapshots 屬性外，還有一個 snapshot-log 屬性，該屬性記錄了快照的歷史信息。

到此這篇關(guān)于Apache Iceberg - 底層數(shù)據(jù)查詢原理的文章就介紹到這了,更多相關(guān)Apache Iceberg原理內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論