Aliyun OSS

このドキュメントは、以下のシナリオで使用されるAlibaba Cloud OSSにアクセスするために必要なパラメータについて説明しています：

• カタログプロパティ
• table Valued Functionプロパティ
• Broker Loadプロパティ
• Exportプロパティ
• Outfileプロパティ

OSS

DorisはS3互換プロトコルを通じてAlibaba Cloud OSSにアクセスするためにS3 Clientを使用します。

パラメータ概要

プロパティ名	レガシー名	説明	デフォルト値
oss.endpoint	s3.endpoint	OSSエンドポイント、Alibaba Cloud OSSのアクセスエンドポイントを指定します。OSSとOSS HDFSは異なるエンドポイントを持つことに注意してください。	None
oss.access_key	s3.access_key	認証用のOSS Access Key	None
oss.secret_key	s3.secret_key	OSS Secret Key、Access Keyと併用します	None
oss.region	s3.region	OSSリージョン、Alibaba Cloud OSSのリージョンを指定します	None
oss.use_path_style	s3.use_path_style	path-styleアクセスを使用するかどうか。MinIOや他の非AWS S3サービスとの互換性のためtrueに設定することを推奨	FALSE
oss.connection.maximum	s3.connection.maximum	最大接続数、OSSサービスとの間で確立される最大接続数を指定します	50
oss.connection.request.timeout	s3.connection.request.timeout	リクエストタイムアウト（ミリ秒）、OSSサービスへの接続時のリクエストタイムアウトを指定します	3000
oss.connection.timeout	s3.connection.timeout	接続タイムアウト（ミリ秒）、OSSサービスとの接続確立時のタイムアウトを指定します	1000

バージョン3.1より前では、レガシー名を使用してください

設定例

"oss.access_key" = "your-access-key",
"oss.secret_key" = "your-secret-key",
"oss.endpoint" = "oss-cn-beijing.aliyuncs.com",
"oss.region" = "cn-beijing"

バージョン3.1より前の場合:

"s3.access_key" = "your-access-key",
"s3.secret_key" = "your-secret-key",
"s3.endpoint" = "oss-cn-beijing.aliyuncs.com",
"s3.region" = "cn-beijing"

使用推奨事項

• Alibaba Cloud OSSとの一貫性と明確性を確保するため、設定パラメータにはoss.プレフィックスの使用を推奨します。
• バージョン3.1以前については、レガシー名s3.をプレフィックスとして使用してください。
• oss.regionを設定することで、アクセス精度とパフォーマンスが向上するため、設定を推奨します。
• コネクションプールパラメータは、コネクションブロッキングを避けるため、並行性要件に応じて調整できます。

OSS-HDFS

OSS-HDFSサービス（JindoFSサービス）は、Alibaba Cloudネイティブのデータレイクストレージ機能です。統一されたメタデータ管理機能に基づき、HDFSファイルシステムインターフェースと互換性があり、ビッグデータとAI分野のデータレイクコンピューティングシナリオに対応します。

OSS-HDFSに保存されたデータへのアクセスは、OSSサービスへの直接アクセスとは若干異なります。詳細については、このドキュメントを参照してください。

パラメータ概要

Property Name	Legacy Name	Description	Default Value	Required
oss.hdfs.endpoint	oss.endpoint	Alibaba Cloud OSS-HDFSサービスエンドポイント、例：cn-hangzhou.oss-dls.aliyuncs.com。	None	Yes
oss.hdfs.access_key	oss.access_key	認証用のOSS Access Key	None	Yes
oss.hdfs.secret_key	oss.secret_key	OSS Secret Key、Access Keyと組み合わせて使用	None	Yes
oss.hdfs.region	oss.region	OSSバケットが配置されているリージョンID、例：cn-beijing。	None	Yes
oss.hdfs.fs.defaultFS		バージョン3.1でサポート。OSSのファイルシステムアクセスパスを指定、例：oss://my-bucket/。	None	No
oss.hdfs.hadoop.config.resources		バージョン3.1でサポート。OSSファイルシステム設定を含むパスを指定。相対パスが必要。デフォルトディレクトリは（FE/BE）デプロイメントディレクトリ下の/plugins/hadoop_conf/（fe.conf/be.confのhadoop_config_dirを変更することで変更可能）。すべてのFEおよびBEノードで同じ相対パスを設定する必要があります。例：hadoop/conf/core-site.xml,hadoop/conf/hdfs-site.xml。	None	No
fs.oss-hdfs.support	oss.hdfs.enabled	バージョン3.1でサポート。OSS-HDFS機能の有効化を明示的に宣言。trueに設定する必要があります	None	No

バージョン3.1以前については、レガシー名を使用してください。

エンドポイント設定

oss.hdfs.endpoint：OSS-HDFSサービスエンドポイントの指定に使用されます。

エンドポイントはAlibaba Cloud OSSにアクセスするためのエントリアドレスで、<region>.oss-dls.aliyuncs.comの形式、例：cn-hangzhou.oss-dls.aliyuncs.com。

エンドポイントがAlibaba Cloud OSSエンドポイント形式に準拠していることを確保するため、厳密な形式検証を実行します。

後方互換性のため、エンドポイント設定ではhttps://またはhttp://プレフィックスの含有が許可されています。システムは形式検証中にプロトコル部分を自動的に解析して無視します。

レガシー名を使用する場合、システムはendpointにoss-dlsが含まれているかどうかに基づいてOSS-HDFSサービスかどうかを判定します。

設定ファイル

バージョン3.1でサポート

OSS-HDFSはoss.hdfs.hadoop.config.resourcesパラメータを通じてHDFS関連の設定ファイルディレクトリの指定をサポートしています。

設定ファイルディレクトリにはhdfs-site.xmlとcore-site.xmlファイルが含まれている必要があります。デフォルトディレクトリは（FE/BE）デプロイメントディレクトリ下の/plugins/hadoop_conf/です。すべてのFEおよびBEノードで同じ相対パスを設定する必要があります。

設定ファイルにこのドキュメントで上述したパラメータが含まれている場合、ユーザーが明示的に設定したパラメータが優先されます。設定ファイルは複数のファイルを指定でき、カンマで区切られます。例：hadoop/conf/core-site.xml,hadoop/conf/hdfs-site.xml。

設定例

"fs.oss-hdfs.support" = "true",
"oss.hdfs.access_key" = "your-access-key",
"oss.hdfs.secret_key" = "your-secret-key",
"oss.hdfs.endpoint" = "cn-hangzhou.oss-dls.aliyuncs.com",
"oss.hdfs.region" = "cn-hangzhou"

バージョン3.1より前の場合：

"oss.hdfs.enabled" = "true",
"oss.access_key" = "your-access-key",
"oss.secret_key" = "your-secret-key",
"oss.endpoint" = "cn-hangzhou.oss-dls.aliyuncs.com",
"oss.region" = "cn-hangzhou"