跳到主要内容

Apache Ozone

自 4.0.4 版本起,Doris 支持通过 S3 Gateway 访问 Apache Ozone。

本文档介绍访问 Apache Ozone 所需的参数,这些参数适用于以下场景:

  • Catalog 属性
  • Table Valued Function 属性
  • Broker Load 属性
  • Export 属性
  • Outfile 属性

如果要将 Ozone 作为独立存储类型使用,需要显式配置 "fs.ozone.support" = "true"

参数总览

属性名称曾用名描述默认值是否必须
ozone.endpoints3.endpointOzone S3 Gateway 访问端点,例如 http://ozone-s3g:9878
ozone.regions3.regionOzone S3 Gateway 区域us-east-1
ozone.access_keys3.access_key, s3.access-key-id用于认证的 Access Key否*
ozone.secret_keys3.secret_key, s3.secret-access-key用于认证的 Secret Key否*
ozone.session_tokens3.session_token, s3.session-tokenSession Token
ozone.connection.maximums3.connection.maximum最大连接数100
ozone.connection.request.timeouts3.connection.request.timeout请求超时时间(毫秒)10000
ozone.connection.timeouts3.connection.timeout连接超时时间(毫秒)10000
ozone.use_path_styleuse_path_style, s3.path-style-access是否使用 path-style 访问true
ozone.force_parsing_by_standard_uriforce_parsing_by_standard_uri是否强制使用标准 URI 解析false
fs.ozone.support是否启用 Ozone 存储类型false

说明:

  • ozone.access_keyozone.secret_key 需要成对配置。
  • fs.s3a.* 参数不会被 Ozone 属性直接解析,请使用 ozone.* 或兼容的 s3.* 参数。
  • Ozone 支持 s3://s3a://s3n:// 三种 URI 协议。
  • 仅配置 ozone.endpoint(或 s3.endpoint)不会自动启用 Ozone,必须同时设置 fs.ozone.support=true

配置示例

使用 ozone.* 参数:

"fs.ozone.support" = "true",
"ozone.endpoint" = "http://ozone-s3g:9878",
"ozone.access_key" = "hadoop",
"ozone.secret_key" = "hadoop",
"ozone.region" = "us-east-1",
"ozone.use_path_style" = "true"

使用兼容的 s3.* 参数:

"fs.ozone.support" = "true",
"s3.endpoint" = "http://ozone-s3g:9878",
"s3.access_key" = "hadoop",
"s3.secret_key" = "hadoop",
"s3.region" = "us-east-1",
"s3.path-style-access" = "true"