跳到主要内容
最后于 更新

Apache Ozone

自 4.0.4 版本起,Doris 支持通过 S3 Gateway 访问 Apache Ozone。

本文档介绍访问 Apache Ozone 所需的参数,这些参数适用于以下场景:

  • Catalog 属性
  • Table Valued Function 属性
  • Broker Load 属性
  • Export 属性
  • Outfile 属性

如果要将 Ozone 作为独立存储类型使用,需要显式配置 "fs.ozone.support" = "true"。

参数总览​

属性名称曾用名描述默认值是否必须
ozone.endpoints3.endpointOzone S3 Gateway 访问端点,例如 http://ozone-s3g:9878无是
ozone.regions3.regionOzone S3 Gateway 区域us-east-1否
ozone.access_keys3.access_key, s3.access-key-id用于认证的 Access Key无否*
ozone.secret_keys3.secret_key, s3.secret-access-key用于认证的 Secret Key无否*
ozone.session_tokens3.session_token, s3.session-tokenSession Token无否
ozone.connection.maximums3.connection.maximum最大连接数100否
ozone.connection.request.timeouts3.connection.request.timeout请求超时时间(毫秒)10000否
ozone.connection.timeouts3.connection.timeout连接超时时间(毫秒)10000否
ozone.use_path_styleuse_path_style, s3.path-style-access是否使用 path-style 访问true否
ozone.force_parsing_by_standard_uriforce_parsing_by_standard_uri是否强制使用标准 URI 解析false否
fs.ozone.support是否启用 Ozone 存储类型false是

说明:

  • ozone.access_key 和 ozone.secret_key 需要成对配置。
  • fs.s3a.* 参数不会被 Ozone 属性直接解析,请使用 ozone.* 或兼容的 s3.* 参数。
  • Ozone 支持 s3://、s3a://、s3n:// 三种 URI 协议。
  • 仅配置 ozone.endpoint(或 s3.endpoint)不会自动启用 Ozone,必须同时设置 fs.ozone.support=true。

配置示例​

使用 ozone.* 参数:

"fs.ozone.support" = "true",
"ozone.endpoint" = "http://ozone-s3g:9878",
"ozone.access_key" = "hadoop",
"ozone.secret_key" = "hadoop",
"ozone.region" = "us-east-1",
"ozone.use_path_style" = "true"

使用兼容的 s3.* 参数:

"fs.ozone.support" = "true",
"s3.endpoint" = "http://ozone-s3g:9878",
"s3.access_key" = "hadoop",
"s3.secret_key" = "hadoop",
"s3.region" = "us-east-1",
"s3.path-style-access" = "true"