ファイル

説明

Fileテーブル値関数（tvf）は、S3、HDFS、LOCALなどのテーブル関数のラッパーであり、異なるストレージシステム上のファイル内容にアクセスするための統一されたインターフェースを提供します。

この関数はバージョン3.1.0以降でサポートされています。

構文

FILE(
    {StorageProperties},
    {FileFormatProperties}
)

• {StorageProperties}

  StoragePropertiesセクションは、ストレージシステムに関連する接続および認証情報を入力するために使用されます。詳細については、[Supported Storage Systems]セクションを参照してください。

• {FileFormatProperties}

  FileFormatPropertiesセクションは、CSV区切り文字などのファイル形式に関連するプロパティを入力するために使用されます。詳細については、[Supported File Formats]セクションを参照してください。

サポートされているストレージシステム

• hdfs

• aws s3

• google cloud storage

• Alibaba Cloud OSS

• Tencent Cloud COS

• Huawei Cloud OBS

• MINIO

サポートされているファイル形式

• Parquet

• ORC

• Text/CSV/JSON

例

S3ストレージへのアクセス

select * from file(
    "fs.s3.support" = "true",
    "uri" = "s3://bucket/file.csv",
    "s3.access_key" = "ak",
    "s3.secret_key" = "sk",
    "s3.endpoint" = "endpoint",
    "s3.region" = "region",
    "format" = "csv"
);

HDFS ストレージへのアクセス

select * from file(
    "fs.hdfs.support" = "true",
    "uri" = "hdfs://path/to/file.csv",
    "fs.defaultFS" = "hdfs://localhost:9000",
    "hadoop.username" = "doris",
    "format" = "csv"
);

Local Storageへのアクセス

select * from file(
    "fs.local.support" = "true",
    "file_path" = "student.csv",
    "backend_id" = "10003",
    "format" = "csv"
);

desc関数を使用してテーブル構造を表示する

desc function file(
    "fs.s3.support" = "true",
    "uri" = "s3://bucket/file.csv",
    "s3.access_key" = "ak",
    "s3.secret_key" = "sk",
    "s3.endpoint" = "endpoint",
    "s3.region" = "region",
    "format" = "csv"
);