HUDI_META

Описание

Табличная функция hudi_meta (tvf) позволяет читать метаданные hudi, историю операций, временную шкалу таблицы, состояние instant и другие сведения.

Поддерживается начиная с версии 3.1.0.

Синтаксис

HUDI_META(
    "table" = "<table>", 
    "query_type" = "<query_type>"
  );

Обязательные параметры

Каждый параметр табличной функции hudi_meta (tvf) представляет собой пару "key"="value".

Поле	Описание
<table>	Полное имя таблицы hudi, которую нужно просмотреть. Имя необходимо указать в формате database_name.table_name.
<query_type>	Тип метаданных, которые нужно просмотреть. В настоящее время поддерживается только timeline.

Примеры

• Чтение метаданных временной шкалы таблицы hudi.

  select * from hudi_meta("table" = "ctl.db.tbl", "query_type" = "timeline");

• Можно использовать с desc function:

  desc function hudi_meta("table" = "ctl.db.tbl", "query_type" = "timeline");

• Просмотр временной шкалы таблицы hudi

  select * from hudi_meta("table" = "hudi_ctl.test_db.test_tbl", "query_type" = "timeline");

  +-------------------+--------+--------------------------+-----------+-----------------------+
  | timestamp         | action | file_name                | state     | state_transition_time |
  +-------------------+--------+--------------------------+-----------+-----------------------+
  | 20240724195843565 | commit | 20240724195843565.commit | COMPLETED | 20240724195844269     |
  | 20240724195845718 | commit | 20240724195845718.commit | COMPLETED | 20240724195846653     |
  | 20240724195848377 | commit | 20240724195848377.commit | COMPLETED | 20240724195849337     |
  | 20240724195850799 | commit | 20240724195850799.commit | COMPLETED | 20240724195851676     |
  +-------------------+--------+--------------------------+-----------+-----------------------+

• Фильтрация по временной метке

  select * from hudi_meta("table" = "hudi_ctl.test_db.test_tbl", "query_type" = "timeline") where timestamp = 20240724195843565;

  +-------------------+--------+--------------------------+-----------+-----------------------+
  | timestamp         | action | file_name                | state     | state_transition_time |
  +-------------------+--------+--------------------------+-----------+-----------------------+
  | 20240724195843565 | commit | 20240724195843565.commit | COMPLETED | 20240724195844269     |
  +-------------------+--------+--------------------------+-----------+-----------------------+