跳到主要内容
跳到主要内容

常见数据湖问题

证书问题​

  1. 查询时报错 curl 77: Problem with the SSL CA cert.。说明当前系统证书过旧，需要更新本地证书。

    • 可以从 https://curl.haxx.se/docs/caextract.html 下载最新的 CA 证书。
    • 将下载后的 cacert-xxx.pem 放到/etc/ssl/certs/目录，例如：sudo cp cacert-xxx.pem /etc/ssl/certs/ca-certificates.crt。

  2. 查询时报错：ERROR 1105 (HY000): errCode = 2, detailMessage = (x.x.x.x)[CANCELLED][INTERNAL_ERROR]error setting certificate verify locations: CAfile: /etc/ssl/certs/ca-certificates.crt CApath: none.

yum install -y ca-certificates
ln -s /etc/pki/ca-trust/extracted/openssl/ca-bundle.trust.crt /etc/ssl/certs/ca-certificates.crt

Kerberos​

  1. 连接 Kerberos 认证的 Hive Metastore 报错：GSS initiate failed

    通常是因为 Kerberos 认证信息填写不正确导致的，可以通过以下步骤排查：

    1. 1.2.1 之前的版本中，Doris 依赖的 libhdfs3 库没有开启 gsasl。请更新至 1.2.2 之后的版本。

    2. 确认对各个组件，设置了正确的 keytab 和 principal，并确认 keytab 文件存在于所有 FE、BE 节点上。

      1. hadoop.kerberos.keytab/hadoop.kerberos.principal：用于 Hadoop hdfs 访问，填写 hdfs 对应的值。
      2. hive.metastore.kerberos.principal：用于 hive metastore。

    3. 尝试将 principal 中的 ip 换成域名（不要使用默认的 _HOST 占位符）

    4. 确认 /etc/krb5.conf 文件存在于所有 FE、BE 节点上。

  2. 通过 Hive Catalog 连接 Hive 数据库报错：RemoteException: SIMPLE authentication is not enabled. Available:[TOKEN, KERBEROS].

    如果在 show databases 和 show tables 都是没问题的情况下，查询的时候出现上面的错误，我们需要进行下面两个操作：

    • fe/conf、be/conf 目录下需放置 core-site.xml 和 hdfs-site.xml
    • BE 节点执行 Kerberos 的 kinit 然后重启 BE，然后再去执行查询即可。

  3. 查询配置了 Kerberos 的外表，遇到该报错：GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos Ticket)，一般重启 FE 和 BE 能够解决该问题。

    • 重启所有节点前可在"${DORIS_HOME}/be/conf/be.conf"中的 JAVA_OPTS 参数里配置-Djavax.security.auth.useSubjectCredsOnly=false，通过底层机制去获取 JAAS credentials 信息，而不是应用程序。
    • 在JAAS Troubleshooting中可获取更多常见 JAAS 报错的解决方法。

  4. 在 Catalog 中配置 Kerberos 时，报错Unable to obtain password from user的解决方法：

    • 用到的 principal 必须在 klist 中存在，使用klist -kt your.keytab检查。
    • 检查 catalog 配置是否正确，比如漏配yarn.resourcemanager.principal。
    • 若上述检查没问题，则当前系统 yum 或者其他包管理软件安装的 JDK 版本存在不支持的加密算法，建议自行安装 JDK 并设置JAVA_HOME环境变量。
    • Kerberos 默认使用 AES-256 来进行加密。如果使用 Oracle JDK，则必须安装 JCE。如果是 OpenJDK，OpenJDK 的某些发行版会自动提供无限强度的 JCE，因此不需要安装 JCE。
    • JCE 与 JDK 版本是对应的，需要根据 JDK 的版本来选择 JCE 版本，下载 JCE 的 zip 包并解压到$JAVA_HOME/jre/lib/security目录下：

  5. 使用 KMS 访问 HDFS 时报错：java.security.InvalidKeyException: Illegal key size

    升级 JDK 版本到 >= Java 8 u162 的版本。或者下载安装 JDK 相应的 JCE Unlimited Strength Jurisdiction Policy Files。

  6. 在 Catalog 中配置 Kerberos 时，如果报错SIMPLE authentication is not enabled. Available:[TOKEN, KERBEROS]，那么需要将core-site.xml文件放到"${DORIS_HOME}/be/conf"目录下。

    如果访问 HDFS 报错No common protection layer between client and server，检查客户端和服务端的hadoop.rpc.protection属性，使他们保持一致。

        <?xml version="1.0" encoding="UTF-8"?>
        <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
        
        <configuration>
        
            <property>
                <name>hadoop.security.authentication</name>
                <value>kerberos</value>
            </property>
            
        </configuration>

  7. 在使用 Broker Load 时，配置了 Kerberos，如果报错Cannot locate default realm.。

    将 -Djava.security.krb5.conf=/your-path 配置项添加到 Broker Load 启动脚本的 start_broker.sh 的 JAVA_OPTS里。

  8. 当在 Catalog 里使用 Kerberos 配置时，不能同时使用hadoop.username属性。

  9. 使用 JDK 17 访问 Kerberos

    如果使用 JDK 17 运行 Doris 并访问 Kerberos 服务，可能会出现因使用已废弃的加密算法而导致无法访问的现象。需要在 krb5.conf 中添加 allow_weak_crypto=true 属性。或升级 Kerberos 的加密算法。

    详情参阅：https://seanjmullan.org/blog/2021/09/14/jdk17#kerberos

JDBC Catalog​

  1. 通过 JDBC Catalog 连接 SQLServer 报错：unable to find valid certification path to requested target

    请在 jdbc_url 中添加 trustServerCertificate=true 选项。

  2. 通过 JDBC Catalog 连接 MySQL 数据库，中文字符乱码，或中文字符条件查询不正确

    请在 jdbc_url 中添加 useUnicode=true&characterEncoding=utf-8

    注：1.2.3 版本后，使用 JDBC Catalog 连接 MySQL 数据库，会自动添加这些参数。

  3. 通过 JDBC Catalog 连接 MySQL 数据库报错：Establishing SSL connection without server's identity verification is not recommended

    请在 jdbc_url 中添加 useSSL=true

  4. 使用 JDBC Catalog 将 MySQL 数据同步到 Doris 中，日期数据同步错误。需要校验下 MySQL 的版本是否与 MySQL 的驱动包是否对应，比如 MySQL8 以上需要使用驱动 com.mysql.cj.jdbc.Driver。

Hive Catalog​

  1. 通过 Hive Metastore 访问 Iceberg 表报错：failed to get schema 或 Storage schema reading not supported

    在 Hive 的 lib/ 目录放上 iceberg 运行时有关的 jar 包。

    在 hive-site.xml 配置：

    metastore.storage.schema.reader.impl=org.apache.hadoop.hive.metastore.SerDeStorageSchemaReader

    配置完成后需要重启 Hive Metastore。

  2. 连接 Hive Catalog 报错：Caused by: java.lang.NullPointerException

    如 fe.log 中有如下堆栈：

    Caused by: java.lang.NullPointerException
        at org.apache.hadoop.hive.ql.security.authorization.plugin.AuthorizationMetaStoreFilterHook.getFilteredObjects(AuthorizationMetaStoreFilterHook.java:78) ~[hive-exec-3.1.3-core.jar:3.1.3]
        at org.apache.hadoop.hive.ql.security.authorization.plugin.AuthorizationMetaStoreFilterHook.filterDatabases(AuthorizationMetaStoreFilterHook.java:55) ~[hive-exec-3.1.3-core.jar:3.1.3]
        at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.getAllDatabases(HiveMetaStoreClient.java:1548) ~[doris-fe.jar:3.1.3]
        at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.getAllDatabases(HiveMetaStoreClient.java:1542) ~[doris-fe.jar:3.1.3]
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[?:1.8.0_181]

    可以尝试在 create catalog 语句中添加 "metastore.filter.hook" = "org.apache.hadoop.hive.metastore.DefaultMetaStoreFilterHookImpl" 解决。

  3. 如果创建 Hive Catalog 后能正常show tables，但查询时报java.net.UnknownHostException: xxxxx

    可以在 CATALOG 的 PROPERTIES 中添加

    'fs.defaultFS' = 'hdfs://<your_nameservice_or_actually_HDFS_IP_and_port>'

  4. Hive 1.x 的 orc 格式的表可能会遇到底层 orc 文件 schema 中列名为 _col0，_col1，_col2... 这类系统列名，此时需要在 catalog 配置中添加 hive.version 为 1.x.x，这样就会使用 hive 表中的列名进行映射。

    CREATE CATALOG hive PROPERTIES (
        'hive.version' = '1.x.x'
    );

  5. 使用 Catalog 查询表数据时发现与 Hive Metastore 相关的报错：Invalid method name，需要设置hive.version参数。

    CREATE CATALOG hive PROPERTIES (
        'hive.version' = '2.x.x'
    );

  6. 查询 ORC 格式的表，FE 报错 Could not obtain block 或 Caused by: java.lang.NoSuchFieldError: types

    对于 ORC 文件，在默认情况下，FE 会访问 HDFS 获取文件信息，进行文件切分。部分情况下，FE 可能无法访问到 HDFS。可以通过添加以下参数解决：

    "hive.exec.orc.split.strategy" = "BI"

    其他选项：HYBRID（默认），ETL。

  7. 在 hive 上可以查到 hudi 表分区字段的值，但是在 doris 查不到。

    doris 和 hive 目前查询 hudi 的方式不一样，doris 需要在 hudi 表结构的 avsc 文件里添加上分区字段，如果没加，就会导致 doris 查询 partition_val 为空（即使设置了 hoodie.datasource.hive_sync.partition_fields=partition_val 也不可以）

    {
        "type": "record",
        "name": "record",
        "fields": [{
            "name": "partition_val",
            "type": [
                "null",
                "string"
                ],
            "doc": "Preset partition field, empty string when not partitioned",
            "default": null
            },
            {
            "name": "name",
            "type": "string",
            "doc": "Name"
            },
            {
            "name": "create_time",
            "type": "string",
            "doc": "Creation time"
            }
        ]
    }

  8. 查询 hive 外表，遇到该报错：java.lang.ClassNotFoundException: Class com.hadoop.compression.lzo.LzoCodec not found

    去 hadoop 环境搜索hadoop-lzo-*.jar放在"${DORIS_HOME}/fe/lib/"目录下并重启 fe。

    从 2.0.2 版本起，可以将这个文件放置在 FE 的 custom_lib/ 目录下（如不存在，手动创建即可），以防止升级集群时因为 lib 目录被替换而导致文件丢失。

  9. 创建 hive 表指定 serde 为 org.apache.hadoop.hive.contrib.serde2.MultiDelimitserDe，访问表时报错：storage schema reading not supported

    在 hive-site.xml 文件中增加以下配置，并重启 hms 服务：

    <property>
       <name>metastore.storage.schema.reader.impl</name>
       <value>org.apache.hadoop.hive.metastore.SerDeStorageSchemaReader</value>
    </property>

  10. 报错：java.security.InvalidAlgorithmParameterException: the trustAnchors parameter must be non-empty

    FE日志中完整报错信息如下：

    org.apache.doris.common.UserException: errCode = 2, detailMessage = S3 list path failed. path=s3://bucket/part-*,msg=errors while get file status listStatus on s3://bucket: com.amazonaws.SdkClientException: Unable to execute HTTP request: Unexpected error: java.security.InvalidAlgorithmParameterException: the trustAnchors parameter must be non-empty: Unable to execute HTTP request: Unexpected error: java.security.InvalidAlgorithmParameterException: the trustAnchors parameter must be non-empty
    org.apache.doris.common.UserException: errCode = 2, detailMessage = S3 list path exception. path=s3://bucket/part-*, err: errCode = 2, detailMessage = S3 list path failed. path=s3://bucket/part-*,msg=errors while get file status listStatus on s3://bucket: com.amazonaws.SdkClientException: Unable to execute HTTP request: Unexpected error: java.security.InvalidAlgorithmParameterException: the trustAnchors parameter must be non-empty: Unable to execute HTTP request: Unexpected error: java.security.InvalidAlgorithmParameterException: the trustAnchors parameter must be non-empty
    org.apache.hadoop.fs.s3a.AWSClientIOException: listStatus on s3://bucket: com.amazonaws.SdkClientException: Unable to execute HTTP request: Unexpected error: java.security.InvalidAlgorithmParameterException: the trustAnchors parameter must be non-empty: Unable to execute HTTP request: Unexpected error: java.security.InvalidAlgorithmParameterException: the trustAnchors parameter must be non-empty
    Caused by: com.amazonaws.SdkClientException: Unable to execute HTTP request: Unexpected error: java.security.InvalidAlgorithmParameterException: the trustAnchors parameter must be non-empty
    Caused by: javax.net.ssl.SSLException: Unexpected error: java.security.InvalidAlgorithmParameterException: the trustAnchors parameter must be non-empty
    Caused by: java.lang.RuntimeException: Unexpected error: java.security.InvalidAlgorithmParameterException: the trustAnchors parameter must be non-empty
    Caused by: java.security.InvalidAlgorithmParameterException: the trustAnchors parameter must be non-empty

    尝试更新FE节点CA证书，使用 update-ca-trust（CentOS/RockyLinux），然后重启FE进程即可。

  11. BE 报错：java.lang.InternalError

    如果在 be.INFO 中看到类似如下错误：

    W20240506 15:19:57.553396 266457 jni-util.cpp:259] java.lang.InternalError
            at org.apache.hadoop.io.compress.zlib.ZlibDecompressor.init(Native Method)
            at org.apache.hadoop.io.compress.zlib.ZlibDecompressor.<init>(ZlibDecompressor.java:114)
            at org.apache.hadoop.io.compress.GzipCodec$GzipZlibDecompressor.<init>(GzipCodec.java:229)
            at org.apache.hadoop.io.compress.GzipCodec.createDecompressor(GzipCodec.java:188)
            at org.apache.hadoop.io.compress.CodecPool.getDecompressor(CodecPool.java:183)
            at org.apache.parquet.hadoop.CodecFactory$HeapBytesDecompressor.<init>(CodecFactory.java:99)
            at org.apache.parquet.hadoop.CodecFactory.createDecompressor(CodecFactory.java:223)
            at org.apache.parquet.hadoop.CodecFactory.getDecompressor(CodecFactory.java:212)
            at org.apache.parquet.hadoop.CodecFactory.getDecompressor(CodecFactory.java:43)

    是因为 Doris 自带的 libz.a 和系统环境中的 libz.so 冲突了。

    为了解决这个问题，需要先执行 export LD_LIBRARY_PATH=/path/to/be/lib:$LD_LIBRARY_PATH 然后重启 BE 进程。

HDFS​

  1. 访问 HDFS 3.x 时报错：java.lang.VerifyError: xxx

    1.2.1 之前的版本中，Doris 依赖的 Hadoop 版本为 2.8。需更新至 2.10.2。或更新 Doris 至 1.2.2 之后的版本。

  2. 使用 Hedged Read 优化 HDFS 读取慢的问题。

    在某些情况下，HDFS 的负载较高可能导致读取某个 HDFS 上的数据副本的时间较长，从而拖慢整体的查询效率。HDFS Client 提供了 Hedged Read 功能。 该功能可以在一个读请求超过一定阈值未返回时，启动另一个读线程读取同一份数据，哪个先返回就是用哪个结果。

    注意：该功能可能会增加 HDFS 集群的负载，请酌情使用。

    可以通过以下两种方式开启这个功能：

    • 在创建 Catalog 的参数中指定：

      create catalog regression properties (
          'type'='hms',
          'hive.metastore.uris' = 'thrift://172.21.16.47:7004',
          'dfs.client.hedged.read.threadpool.size' = '128',
          'dfs.client.hedged.read.threshold.millis' = "500"
      );

      dfs.client.hedged.read.threadpool.size 表示用于 Hedged Read 的线程数，这些线程由一个 HDFS Client 共享。通常情况下，针对一个 HDFS 集群，BE 节点会共享一个 HDFS Client。

      dfs.client.hedged.read.threshold.millis 是读取阈值，单位毫秒。当一个读请求超过这个阈值未返回时，会触发 Hedged Read。

    开启后，可以在 Query Profile 中看到相关参数：

    TotalHedgedRead: 发起 Hedged Read 的次数。

    HedgedReadWins：Hedged Read 成功的次数（发起并且比原请求更快返回的次数）

    注意，这里的值是单个 HDFS Client 的累计值，而不是单个查询的数值。同一个 HDFS Client 会被多个查询复用。

  3. Couldn't create proxy provider class org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

    在 FE 和 BE 的 start 脚本中，会将环境变量 HADOOP_CONF_DIR 加入 CLASSPATH。如果 HADOOP_CONF_DIR 设置错误，比如指向了不存在的路径或错误路径，则可能加载到错误的 xxx-site.xml 文件，从而读取到错误的信息。

    需检查 HADOOP_CONF_DIR 是否配置正确，或将这个环境变量删除。

  4. BlockMissingExcetpion: Could not obtain block: BP-XXXXXXXXX No live nodes contain current block

    可能的处理方式有：

    • 通过 hdfs fsck file -files -blocks -locations 来查看具体该文件是否健康。
    • 通过 telnet 来检查与 datanode 的连通性。
    • 查看 datanode 日志。

    如果出现以下错误：

    org.apache.hadoop.hdfs.server.datanode.DataNode: Failed to read expected SASL data transfer protection handshake from client at /XXX.XXX.XXX.XXX:XXXXX. Perhaps the client is running an older version of Hadoop which does not support SASL data transfer protection 则为当前 hdfs 开启了加密传输方式，而客户端未开启导致的错误。

    使用下面的任意一种解决方案即可：

    • 拷贝 hdfs-site.xml 以及 core-site.xml 到 be/conf 和 fe/conf 目录。(推荐)
    • 在 hdfs-site.xml 找到相应的配置 dfs.data.transfer.protection，并且在 catalog 里面设置该参数。

DLF Catalog​

  1. 使用 DLF Catalog 时，BE 读在取 JindoFS 数据出现Invalid address，需要在/ets/hosts中添加日志中出现的域名到 IP 的映射。

  2. 读取数据无权限时，使用hadoop.username属性指定有权限的用户。

  3. DLF Catalog 中的元数据和 DLF 保持一致。当使用 DLF 管理元数据时，Hive 新导入的分区，可能未被 DLF 同步，导致出现 DLF 和 Hive 元数据不一致的情况，对此，需要先保证 Hive 元数据被 DLF 完全同步。

其他问题​

  1. Binary 类型映射到 Doris 后，查询乱码

    Doris 原生不支持 Binary 类型，所以各类数据湖或数据库中的 Binary 类型映射到 Doris 中，通常使用 String 类型进行映射。String 类型只能展示可打印字符。如果需要查询 Binary 的内容，可以使用 TO_BASE64() 函数转换为 Base64 编码后，在进行下一步处理。

  2. 分析 Parquet 文件

    在查询 Parquet 文件时，由于不同系统生成的 Parquet 文件格式可能有所差异，比如 RowGroup 的数量，索引的值等，有时需要检查 Parquet 文件的元数据进行问题定位或性能分析。这里提供一个工具帮助用户更方便的分析 Parquet 文件：

    1. 下载并解压 Apache Parquet Cli 1.14.0

    2. 将需要分析的 Parquet 文件下载到本地，假设路径为 /path/to/file.parquet

    3. 使用如下命令分析 Parquet 文件元信息：

      ./parquet-tools meta /path/to/file.parquet

    4. 更多功能，可参阅 Apache Parquet Cli 文档

Report issue
本页导航
ASF
Resources
Community
Join the community
Copyright © 2024 The Apache Software Foundation,Licensed under the Apache License, Version 2.0. Apache, Doris, Apache Doris, the Apache feather logo and the Apache Doris logo are trademarks of The Apache Software Foundation.