S3

このドキュメントは、AWS S3 にアクセスするために必要なパラメータについて説明します。これらのパラメータは以下に適用されます：

カタログプロパティ
table Valued Function プロパティ
Broker Load プロパティ
Export プロパティ
Outfile プロパティ

パラメータ概要

プロパティ名	説明	デフォルト	必須
s3.endpoint	S3 サービスアクセスエンドポイント（例：s3.us-east-1.amazonaws.com）	None	No
s3.access_key	認証用の AWS Access Key	None	No
s3.secret_key	認証用の AWS Secret Key	None	No
s3.region	S3 リージョン（例：us-east-1）。強く推奨	None	Yes
s3.use_path_style	パススタイルアクセスを使用するかどうか	FALSE	No
s3.connection.maximum	高並行性シナリオでの最大接続数	50	No
s3.connection.request.timeout	リクエストタイムアウト（ミリ秒）、接続取得タイムアウトを制御	3000	No
s3.connection.timeout	接続確立タイムアウト（ミリ秒）	1000	No
s3.role_arn	Assume Role モード使用時に指定する Role ARN	None	No
s3.external_id	s3.role_arn と合わせて使用する External ID	None	No

認証設定

Doris は S3 にアクセスするために以下の2つの方法をサポートしています：

直接的な Access Key と Secret Key

"s3.access_key"="your-access-key",
"s3.secret_key"="your-secret-key",
"s3.endpoint"="s3.us-east-1.amazonaws.com",
"s3.region"="us-east-1"

Assume Role モード

クロスアカウントおよび一時的な認可アクセスに適しています。ロール認可を通じて一時的な認証情報を自動的に取得します。

"s3.role_arn"="arn:aws:iam::123456789012:role/demo-role",
"s3.external_id"="external-identifier",
"s3.endpoint"="s3.us-east-1.amazonaws.com",
"s3.region"="us-east-1"

Access KeyとRole ARNの両方が設定されている場合、Access Keyモードが優先されます。

S3 Directory Bucketへのアクセス

この機能はバージョン3.1.0以降でサポートされています。

Amazon S3 Express One Zone（Directory Bucketとしても知られています）はより高いパフォーマンスを提供しますが、異なるエンドポイント形式を使用します。

通常のバケット: s3.us-east-1.amazonaws.com
Directory Bucket: s3express-usw2-az1.us-west-2.amazonaws.com

利用可能なリージョンの詳細については、以下を参照してください: AWS Official Documentation

例:

"s3.access_key"="ak",
"s3.secret_key"="sk",
"s3.endpoint"="s3express-usw2-az1.us-west-2.amazonaws.com",
"s3.region"="us-west-2"

権限ポリシー

ユースケースに応じて、権限は読み取り専用と読み書きポリシーに分類できます。

1. 読み取り専用権限

S3からのオブジェクトの読み取りのみを許可します。LOAD、TVF、EXTERNAL CATALOGのクエリ、その他のシナリオに適しています。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
              "s3:GetObject",
              "s3:GetObjectVersion",
            ],
            "Resource": "arn:aws:s3:::<your-bucket>/your-prefix/*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket",
                "s3:GetBucketLocation"
            ],
            "Resource": "arn:aws:s3:::<your-bucket>"
        }    
    ]
}

2. 読み書き権限

読み取り専用権限をベースとして、さらにオブジェクトの削除、作成、および変更を許可します。EXPORT、OUTFILE、およびEXTERNAL CATALOGの書き戻しシナリオに適しています。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
              "s3:PutObject",
              "s3:GetObject",
              "s3:GetObjectVersion",
              "s3:DeleteObject",
              "s3:DeleteObjectVersion",
              "s3:AbortMultipartUpload",      
              "s3:ListMultipartUploadParts"
            ],
            "Resource": "arn:aws:s3:::<your-bucket>/<your-prefix>/*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket",
                "s3:GetBucketLocation",
                "s3:GetBucketVersioning",
                "s3:GetLifecycleConfiguration"
            ],
            "Resource": "arn:aws:s3:::<your-bucket>"
        }    
    ]
}

注意事項

プレースホルダーの置換
- <bucket> → あなたのS3 Bucket名。
- <account-id> → あなたのAWSアカウントID（12桁の数字）。
最小権限の原則
- クエリのみを行う場合は、書き込み権限を付与しないでください。

パラメータ概要​

認証設定​

S3 Directory Bucketへのアクセス​

権限ポリシー​

1. 読み取り専用権限​

2. 読み書き権限​

注意事項​