に最終更新
HUDI_META
説明
hudi_meta テーブル値関数(TVF)は、Hudi テーブルのメタデータ、操作履歴、タイムライン、インスタントの状態などを読み取るために使用します。
3.1.0 以降でサポートされています。
構文
HUDI_META(
"table" = "<table>",
"query_type" = "<query_type>"
);
必須パラメータ
hudi_meta テーブル関数(TVF)の各パラメータは、"key"="value" のペアです。
| フィールド | 説明 |
|---|---|
<table> | 表示する Hudi テーブルの完全なテーブル名です。database_name.table_name の形式で指定する必要があります。 |
<query_type> | 表示するメタデータの種類です。現在サポートされているのは timeline のみです。 |
例
-
Hudi テーブルのタイムラインのメタデータを読み取ります。
select * from hudi_meta("table" = "ctl.db.tbl", "query_type" = "timeline"); -
desc functionと組み合わせて使用できます。desc function hudi_meta("table" = "ctl.db.tbl", "query_type" = "timeline"); -
Hudi テーブルのタイムラインを確認します。
select * from hudi_meta("table" = "hudi_ctl.test_db.test_tbl", "query_type" = "timeline");+-------------------+--------+--------------------------+-----------+-----------------------+
| timestamp | action | file_name | state | state_transition_time |
+-------------------+--------+--------------------------+-----------+-----------------------+
| 20240724195843565 | commit | 20240724195843565.commit | COMPLETED | 20240724195844269 |
| 20240724195845718 | commit | 20240724195845718.commit | COMPLETED | 20240724195846653 |
| 20240724195848377 | commit | 20240724195848377.commit | COMPLETED | 20240724195849337 |
| 20240724195850799 | commit | 20240724195850799.commit | COMPLETED | 20240724195851676 |
+-------------------+--------+--------------------------+-----------+-----------------------+ -
タイムスタンプで絞り込みます。
select * from hudi_meta("table" = "hudi_ctl.test_db.test_tbl", "query_type" = "timeline") where timestamp = 20240724195843565;+-------------------+--------+--------------------------+-----------+-----------------------+
| timestamp | action | file_name | state | state_transition_time |
+-------------------+--------+--------------------------+-----------+-----------------------+
| 20240724195843565 | commit | 20240724195843565.commit | COMPLETED | 20240724195844269 |
+-------------------+--------+--------------------------+-----------+-----------------------+