メインコンテンツまでスキップ

Hive Metastore

このドキュメントでは、CREATE CATALOG文を通じてHive MetaStoreサービスに接続およびアクセスする際にサポートされるすべてのパラメータについて説明します。

サポートされるCatalogタイプ​

Catalogタイプタイプ識別子 (type)説明
HivehmsHive Metastoreへの接続用Catalog
IcebergicebergIcebergテーブル形式用Catalog
PaimonpaimonApache Paimonテーブル形式用Catalog

共通パラメータの概要​

以下のパラメータは、異なるCatalogタイプに共通するものです。

パラメータ名旧名必須デフォルト説明
hive.metastore.urisはいなしHive MetastoreのURIアドレス。カンマ区切りで複数のURIをサポート。例: 'hive.metastore.uris' = 'thrift://127.0.0.1:9083','hive.metastore.uris' = 'thrift://127.0.0.1:9083,thrift://127.0.0.1:9084'
hive.metastore.authentication.typehadoop.security.authenticationいいえsimpleMetastore認証方式：simple（デフォルト）またはkerberosをサポート。バージョン3.0以前では、認証方式はhadoop.security.authenticationプロパティによって決定されていました。バージョン3.1以降、Hive Metastore認証方式を個別に指定可能。例: 'hive.metastore.authentication.type' = 'kerberos'
hive.metastore.service.principalhive.metastore.kerberos.principalいいえ空Hiveサーバープリンシパル。_HOSTプレースホルダーをサポート。例: 'hive.metastore.service.principal' = 'hive/_HOST@EXAMPLE.COM'
hive.metastore.client.principalhadoop.kerberos.principalいいえ空DorisがHive MetaStoreサービスに接続するために使用するKerberosプリンシパル。
hive.metastore.client.keytabhadoop.kerberos.keytabいいえ空Kerberosキータブファイルパス
hive.metastore.usernamehadoop.usernameいいえhadoopHive Metastoreユーザー名。非Kerberosモードで使用
hive.conf.resourcesいいえ空hive-site.xml設定ファイルパス。相対パスを使用
hive.metastore.client.socket.timeoutいいえデフォルト値はFE設定パラメータのhive_metastore_client_timeout_secondで、デフォルトは10秒。このパラメータはバージョン4.0.3以降でサポート。Hive Metastore Client接続を通じてメタデータにアクセスする際のタイムアウト。メタデータが大きい場合（例：パーティションが多数ある場合）、この値を増加できます。

注記:

バージョン3.1.0より前では、旧名を使用してください。

必須パラメータ​

  • hive.metastore.uris: Hive MetastoreのURIアドレスを指定する必要があります

オプションパラメータ​

  • hive.metastore.authentication.type: 認証方式。デフォルトはsimple、オプションでkerberos

  • hive.metastore.service.principal: Hive MetaStoreサービスのKerberosプリンシパル。Kerberos認証使用時に指定が必要。

  • hive.metastore.client.principal: DorisがHive MetaStoreサービスに接続するために使用するKerberosプリンシパル。Kerberos認証使用時に指定が必要。

  • hive.metastore.client.keytab: Kerberosキータブファイルパス。Kerberos認証使用時に指定が必要。

  • hive.metastore.username: Hive MetaStoreサービスへの接続用ユーザー名。非Kerberosモードで使用、デフォルトはhadoop。

  • hive.conf.resources: hive-site.xml設定ファイルパス。Hive Metastoreサービスへの接続設定を設定ファイルから読み込む必要がある場合に使用。

認証方式​

Simple認証​

  • simple: 非Kerberosモード。Hive Metastoreサービスに直接接続。

Kerberos認証​

Hive Metastoreサービスへの接続にKerberos認証を使用する場合、以下のパラメータを設定します：

  • hive.metastore.authentication.type: kerberosに設定

  • hive.metastore.service.principal: Hive MetaStoreサービスのKerberosプリンシパル

  • hive.metastore.client.principal: DorisがHive MetaStoreサービスに接続するために使用するKerberosプリンシパル

  • hive.metastore.client.keytab: Kerberosキータブファイルパス

'hive.metastore.authentication.type' = 'kerberos',
'hive.metastore.service.principal' = 'hive/_HOST@EXAMPLE.COM',
'hive.metastore.client.principal' = 'hive/doris.cluster@EXAMPLE.COM',
'hive.metastore.client.keytab' = '/etc/security/keytabs/hive.keytab'

Kerberos認証が有効なHive MetaStoreサービスを使用する場合、すべてのFEノードに同じkeytabファイルが存在し、Dorisプロセスを実行するユーザーがkeytabファイルに対する読み取り権限を持ち、krb5設定ファイルが適切に設定されていることを確認してください。

一般的なKerberos設定の問題とベストプラクティスについては、Kerberosを参照してください。

設定ファイルパラメータ​

hive.conf.resources​

設定ファイルを通じてHive Metastoreサービスへの接続設定を読み取る必要がある場合、hive.conf.resourcesパラメータを設定してconfファイルパスを指定できます。

注意：hive.conf.resourcesパラメータは相対パスのみをサポートしており、絶対パスは使用しないでください。デフォルトパスは${DORIS_HOME}/plugins/hadoop_conf/ディレクトリ配下です。fe.confのhadoop_config_dirを変更することで、他のディレクトリを指定できます。

例：'hive.conf.resources' = 'hms-1/hive-site.xml'

Catalogタイプ固有データ​

以下のパラメータは、共通パラメータに加えて、各Catalogタイプ固有のものです。

Hive Catalog​

パラメータ名旧名称必須デフォルト説明
typeYesNoneCatalogタイプ、Hive Catalogの場合はhmsで固定
hive.metastore.typeNo'hms'Metadata Catalogタイプ、Hive Metastoreの場合はhmsで固定、HiveMetaStore使用時はhmsである必要があります

例​

  1. 認証なしのHive Metastoreをメタデータサービス、S3をストレージサービスとして使用するHive Catalogを作成する。

    CREATE CATALOG hive_hms_s3_test_catalog PROPERTIES (
        'type' = 'hms',
        'hive.metastore.uris' = 'thrift://127.0.0.1:9383',
        's3.access_key' = 'S3_ACCESS_KEY',
        's3.secret_key' = 'S3_SECRET_KEY',
        's3.region' = 's3.ap-east-1.amazonaws.com'
    );

  2. Kerberos認証を有効にしたHive Metastoreをメタデータサービスとして使用し、S3ストレージサービスを使用するHive Catalogを作成します。

     CREATE CATALOG hive_hms_on_oss_kerberos_new_catalog PROPERTIES (
        'type' = 'hms',
        'hive.metastore.uris' = 'thrift://127.0.0.1:9583',
        'hive.metastore.client.principal'='hive/presto-master.docker.cluster@LABS.TERADATA.COM',
        'hive.metastore.client.keytab' = '/mnt/keytabs/keytabs/hive-presto-master.keytab',
        'hive.metastore.service.principal' = 'hive/hadoop-master@LABS.TERADATA.COM',
        'hive.metastore.authentication.type'='kerberos',
        'hadoop.security.auth_to_local' = 'RULE:[2:\$1@\$0](.*@LABS.TERADATA.COM)s/@.*//
                           RULE:[2:\$1@\$0](.*@OTHERLABS.TERADATA.COM)s/@.*//
                           RULE:[2:\$1@\$0](.*@OTHERREALM.COM)s/@.*//
                           DEFAULT',
        'oss.access_key' = 'OSS_ACCESS_KEY',
        'oss.secret_key' = 'OSS_SECRET_KEY',
        'oss.endpoint' = 'oss-cn-beijing.aliyuncs.com'
    );

Iceberg Catalog​

パラメータ名旧名称必須デフォルト説明
typeYesNoneカタログタイプ、Icebergの場合はicebergに固定
iceberg.catalog.typeNoNoneメタデータカタログタイプ、Hive Metastoreの場合はhmsに固定、HiveMetaStore使用時はhmsである必要があります
warehouseNoNoneIcebergウェアハウスパス

例​

  1. メタデータサービスとしてHive Metastore、ストレージサービスとしてS3を使用するIceberg Catalogを作成する。

     CREATE CATALOG iceberg_hms_s3_test_catalog PROPERTIES (
        'type' = 'iceberg',
        'iceberg.catalog.type' = 'hms',
        'hive.metastore.uris' = 'thrift://127.0.0.1:9383',
        'warehouse' = 's3://doris/iceberg_warehouse/',
        's3.access_key' = 'S3_ACCESS_KEY',
        's3.secret_key' = 'S3_SECRET_KEY',
        's3.region' = 's3.ap-east-1.amazonaws.com'
    );

  2. マルチKerberos環境において、S3ストレージサービスを使用し、Kerberos認証を有効にしたHive Metastoreをメタデータサービスとして使用するIceberg Catalogを作成する。

    CREATE CATALOG IF NOT EXISTS iceberg_hms_on_oss_kerberos_new_catalog PROPERTIES (
        'type' = 'iceberg',
        'iceberg.catalog.type' = 'hms',
        'hive.metastore.uris' = 'thrift://127.0.0.1:9583',
        'warehouse' = 'oss://doris/iceberg_warehouse/',
        'hive.metastore.client.principal'='hive/presto-master.docker.cluster@LABS.TERADATA.COM',
        'hive.metastore.client.keytab' = '/mnt/keytabs/keytabs/hive-presto-master.keytab',
        'hive.metastore.service.principal' = 'hive/hadoop-master@LABS.TERADATA.COM',
        'hive.metastore.authentication.type'='kerberos',
        'hadoop.security.auth_to_local' = 'RULE:[2:\$1@\$0](.*@LABS.TERADATA.COM)s/@.*//
                           RULE:[2:\$1@\$0](.*@OTHERLABS.TERADATA.COM)s/@.*//
                           RULE:[2:\$1@\$0](.*@OTHERREALM.COM)s/@.*//
                           DEFAULT',
        'oss.access_key' = 'OSS_ACCESS_KEY',
        'oss.secret_key' = 'OSS_SECRET_KEY',
        'oss.endpoint' = 'oss-cn-beijing.aliyuncs.com'
    );

Paimon Catalog​

パラメータ名旧名称必須デフォルト説明
typeはいNoneカタログタイプ、Paimonの場合はpaimonに固定
paimon.catalog.typeいいえfilesystemHiveMetaStoreを使用する場合はhmsである必要があり、デフォルトはファイルシステムにメタデータを保存するfilesystem
warehouseはいNonePaimonウェアハウスパス

例​

  1. Hive Metastoreをメタデータサービスとして使用し、S3ストレージサービスを使用してPaimon Catalogを作成する。

     CREATE CATALOG IF NOT EXISTS paimon_hms_s3_test_catalog PROPERTIES (
        'type' = 'paimon',
        'paimon.catalog.type' = 'hms',
        'hive.metastore.uris' = 'thrift://127.0.0.1:9383',
        'warehouse' = 's3://doris/paimon_warehouse/',
        's3.access_key' = 'S3_ACCESS_KEY',
        's3.secret_key' = 'S3_SECRET_KEY',
        's3.region' = 's3.ap-east-1.amazonaws.com'
    );

  2. マルチKerberos環境において、Kerberos認証が有効なHive MetastoreをメタデータサービスとしてS3ストレージサービスと組み合わせて使用するPaimon Catalogを作成します。

     CREATE CATALOG IF NOT EXISTS paimon_hms_on_oss_kerberos_new_catalog PROPERTIES (
        'type' = 'paimon',
        'paimon.catalog.type' = 'hms',
        'hive.metastore.uris' = 'thrift://127.0.0.1:9583',
        'warehouse' = 's3://doris/iceberg_warehouse/',
        'hive.metastore.client.principal'='hive/presto-master.docker.cluster@LABS.TERADATA.COM',
        'hive.metastore.client.keytab' = '/mnt/keytabs/keytabs/hive-presto-master.keytab',
        'hive.metastore.service.principal' = 'hive/hadoop-master@LABS.TERADATA.COM',
        'hive.metastore.authentication.type'='kerberos',
        'hadoop.security.auth_to_local' = 'RULE:[2:\$1@\$0](.*@LABS.TERADATA.COM)s/@.*//
                           RULE:[2:\$1@\$0](.*@OTHERLABS.TERADATA.COM)s/@.*//
                           RULE:[2:\$1@\$0](.*@OTHERREALM.COM)s/@.*//
                           DEFAULT',
        'oss.access_key' = 'OSS_ACCESS_KEY',
        'oss.secret_key' = 'OSS_SECRET_KEY',
        'oss.endpoint' = 'oss-cn-beijing.aliyuncs.com'
    );

HMS アクセスポート要件​

DorisがHMSにアクセスするには、少なくとも以下のポートが開かれている必要があります：

ServicePort PurposeDefault PortProtocol
Hive MetastoreThrift (metadata access)9083TCP

注意事項：

  • ポートはhive-site.xmlでカスタマイズできます。常に実際の設定に従ってください。
  • Kerberos認証が有効な場合、DorisからKerberos KDCへのネットワーク接続性を確保してください。KDCは、KDC設定でカスタマイズされていない限り、デフォルトでTCPポート88をリッスンします。

よくある質問（FAQ）​

  • Q1：hive-site.xmlは必須ですか？

    いいえ、設定を読み取る必要がある場合のみ使用されます。

  • Q2：keytabファイルは全てのノードに存在する必要がありますか？

    はい、全てのFEノードが指定されたパスにアクセスできる必要があります。

  • Q3：書き戻し機能を使用する際、つまりDorisでHive/Icebergデータベース/テーブルを作成する際に注意すべき点は何ですか？

    テーブル作成にはストレージ側でのメタデータ操作、つまりストレージシステムへのアクセスが含まれるため、Hive MetaStoreサービスのサーバー側では、S3、OSSなどのストレージサービスのアクセスパラメータなど、対応するストレージパラメータを設定する必要があります。オブジェクトストレージを基盤ストレージシステムとして使用する場合は、書き込み先のバケットが設定されたRegionと一致することを確認してください。

Report issue
ASF
Resources
Community
Join the community
Copyright © 2026 The Apache Software Foundation,Licensed under the Apache License, Version 2.0. Apache, Doris, Apache Doris, the Apache feather logo and the Apache Doris logo are trademarks of The Apache Software Foundation.