に最終更新
FILE
説明
FILE テーブル値関数(TVF)は、S3、HDFS、LOCAL などのテーブル関数をラップし、異なるストレージシステム上のファイルの内容にアクセスするための統一されたインターフェースを提供します。
この関数はバージョン 3.1.0 以降でサポートされています。
構文
FILE(
{StorageProperties},
{FileFormatProperties}
)
-
{StorageProperties}StorageProperties セクションには、ストレージシステムへの接続と認証に関する情報を指定します。詳細は、[サポートされるストレージシステム]セクションを参照してください。
-
{FileFormatProperties}FileFormatProperties セクションには、CSV の区切り文字など、ファイル形式に関するプロパティを指定します。詳細は、[サポートされるファイル形式]セクションを参照してください。
サポートされるストレージシステム
サポートされるファイル形式
例
S3 ストレージへのアクセス
select * from file(
"fs.s3.support" = "true",
"uri" = "s3://bucket/file.csv",
"s3.access_key" = "ak",
"s3.secret_key" = "sk",
"s3.endpoint" = "endpoint",
"s3.region" = "region",
"format" = "csv"
);
HDFS ストレージへのアクセス
select * from file(
"fs.hdfs.support" = "true",
"uri" = "hdfs://path/to/file.csv",
"fs.defaultFS" = "hdfs://localhost:9000",
"hadoop.username" = "doris",
"format" = "csv"
);
ローカルストレージへのアクセス
select * from file(
"fs.local.support" = "true",
"file_path" = "student.csv",
"backend_id" = "10003",
"format" = "csv"
);
desc function を使用したテーブル構造の確認
desc function file(
"fs.s3.support" = "true",
"uri" = "s3://bucket/file.csv",
"s3.access_key" = "ak",
"s3.secret_key" = "sk",
"s3.endpoint" = "endpoint",
"s3.region" = "region",
"format" = "csv"
);