メインコンテンツまでスキップ

リリース 3.0.4

コミュニティの皆様、Apache Doris 3.0.4バージョンが2025年2月2日に正式にリリースされました。このバージョンでは、システムの性能と安定性がさらに向上しています。

クイックダウンロード: https://doris.apache.org/download/

GitHub Release: https://github.com/apache/doris/releases

動作変更

  • Auditログにおいて、drop tableおよびdrop database文のforceフラグが保持されるようになりました。#43227

  • Parquet/ORC形式にデータをエクスポートする際、bitmapquantile_statehllタイプはBinary形式でエクスポートされます。また、jsonbおよびvariantタイプのエクスポートサポートが追加され、これらはstringとしてエクスポートされます。#44041

  • External カタログを通じて大文字小文字を区別しないテーブル名を持つデータソース(Hiveなど)をクエリする際、以前のバージョンでは任意の大文字小文字でテーブル名をクエリできましたが、バージョン3.0.4では、Doris自体のテーブル名大文字小文字区別ポリシーが厳密に適用されます。

  • Hudi JNI ScannerがSpark APIからHadoop APIに置き換えられ、互換性が向上しました。ユーザーはセッション変数set hudi_jni_scanner=spark/hadoopで切り替えできます。#44396

  • Colocateテーブルでのauto bucketの使用が禁止されました。#44396

  • カタログに対してPaimonキャッシュが追加され、リアルタイムデータクエリが排除されました。#44911

  • Broker Loadでの大規模データインポートの性能を向上させるため、max_broker_concurrencyのデフォルト値が増加されました。#44929

  • Auto パーティションパーティションのstorage mediumのデフォルト値が、システムデフォルト値を使用する代わりに、現在のテーブルのstorage mediumの属性値に変更されました。#45955

  • Keyカラムに対してSchema Change実行中のカラム更新が禁止されました。#46347

  • 自動インクリメントカラムを含むKeyカラムに対して、自動インクリメントカラムを提供しないカラム更新を許可するサポートが追加されました。#44528

  • FE IDジェネレーター戦略が時間ベースのアプローチに切り替えられ、IDは10000から開始されなくなりました。#44790

  • コンピュート・ストレージ分離モードでは、Compactionのデフォルトの古いrowsetリサイクル遅延が1800秒に短縮され、リサイクル間隔を減らしています。これにより極端なシナリオで大きなクエリが失敗する可能性があり、必要に応じて調整できます。#45460

  • コンピュート・ストレージ分離モードではshow cache hotspot文が無効化され、システムテーブルへの直接アクセスが必要になりました。#47332

  • システム作成のadminユーザーの削除が禁止されました。#44751

改善

ストレージ

  • max_match_interval設定が小さいことによるRoutine Loadタスクの頻繁なタイムアウト問題が最適化されました。#46292
  • 複数の圧縮ファイルをインポートする際のBroker Loadの性能が向上しました。#43975
  • Stream Load性能を向上させるため、webserver_num_workersのデフォルト値が増加されました。#46593
  • BEノードスケーリング時のRoutine Loadインポートタスクの負荷不均衡問題が最適化されました。#44798
  • タイムアウトがクエリに影響を与えないよう、Routine Loadスレッドプールの使用が改善されました。#45039

コンピュート・ストレージ分離

  • Meta-serviceの安定性と観測可能性が向上しました。#44036, #45617, #45255, #45068
  • File Cacheに早期退去戦略の追加、ロック時間の削減、クエリ性能の向上による最適化が行われました。#47473, #45678, #47472
  • 安定性を向上させるため、File Cacheの初期化チェックとキュー遷移が改善されました。#44004, #44429, #45057, #47229
  • HDFSデータリサイクルの速度が向上しました。#46393
  • 超高頻度インポート時のFEによるコンピュートグループ取得の性能問題が最適化されました。#47203
  • リアルタイム高同時インポートの安定性を向上させるため、コンピュート・ストレージ分離における主キーテーブルのインポート関連パラメーターが改善されました。#47295, #46750, #46365

レイクハウス

  • JSON形式のHiveテーブルの読み取りがサポートされました。#43469

  • CSV形式のUTF-8エンコーディングチェックをスキップするセッション変数enable_text_validate_utf8が導入されました。#45537

  • Hudiバージョンが0.15に更新され、Hudiテーブルのクエリ計画性能が最適化されました。

  • MaxComputeパーティションテーブルの読み取り性能が向上しました。#45148

  • 高フィルタレート下でのParquetファイル遅延マテリアライゼーションの性能が最適化されました。#46183

  • 複雑なParquetタイプの遅延マテリアライゼーションがサポートされました。#44098

  • ORCタイプの述語プッシュダウンロジックが最適化され、インデックスフィルタリング用のより多くの述語条件がサポートされました。#43255

非同期マテリアライズドビュー

  • 集約ロールアップ書き換えのより多くのシナリオがサポートされました。#44412

クエリオプティマイザー

  • パーティションプルーニング性能が向上しました。#46261
  • データ特性に基づいてgroup byキーを排除するルールが追加されました。#43391
  • ターゲットテーブルサイズに基づいてRuntime Filtersの待機時間を適応的に調整するようになりました。#42640
  • より多くのシナリオに適用できるよう、ジョインでの集約プッシュダウン能力が向上しました。#43856, #43380
  • より多くのシナリオに適用できるよう、集約でのLimitプッシュダウンが改善されました。#44042

その他

  • FE、BE、MSプロセスの起動スクリプトが最適化され、より明確な出力を提供するようになりました。#45610, #45490, #45883
  • show tablesでのテーブル名の大文字小文字区別がMySQLの動作と一致するようになりました。#46030
  • show indexが任意のターゲットテーブルタイプをサポートするようになりました。#45861
  • information_schema.columnsがデフォルト値の表示をサポートするようになりました。#44849
  • information_schema.viewsがビュー定義の表示をサポートするようになりました。#45857
  • MySQLプロトコルCOM_RESET_CONNECTIONコマンドがサポートされました。#44747

バグ修正

ストレージ

  • 集約テーブルモデルのインポートプロセス中の潜在的なメモリエラーが修正されました。#46997
  • コンピュート・ストレージ分離モードでFEマスターノード再起動時のRoutine Loadオフセット損失問題が解決されました。#46566
  • コンピュートストレージモードでのバッチインポートシナリオ中のFE Observerノードのメモリリークが修正されました。#47244
  • Order Data CompactionでのFull Compaction中のCumulative Pointロールバック問題が解決されました。#44359
  • Delete操作がTablet Compactionスケジューリングを一時的に妨げる問題が修正されました。#43466
  • マルチコンピュートクラスターシナリオでのSchema Change後の不正なTablet状態が解決されました。#45821
  • sequence_typeを持つ主キーテーブルでColumn Rename Schema Changeを実行する際の潜在的なNPEエラーが修正されました。#46906
  • データ正確性: DELETE SIGNカラムを含む部分カラム更新をインポートする際の主キーテーブルの正確性問題が修正されました。#46194
  • 主キーテーブルのPublishタスクが継続的にスタックした際のFEの潜在的なメモリリークが解決されました。#44846

コンピュート・ストレージ分離

  • File Cacheサイズがテーブルデータサイズを超える可能性がある問題が修正されました。#46561, #46390
  • データアップロード時の5MB境界でのアップロード失敗が解決されました。#47333
  • Storage Vaultでのいくつかのalter操作に対してより多くのパラメーターチェックを追加することで堅牢性が向上しました。#45155, #45156, #46625, #47078, #45685, #46779
  • 不適切なStorage Vault設定によるデータリサイクル失敗または遅いリサイクルの問題が解決されました。#46798, #47536, #47475, #47324, #45072
  • データリサイクルが停止し、タイムリーなリサイクルが阻害される問題が修正されました。#45760
  • コンピュート・ストレージ分離モードでのMTTM-230エラーの不正な再試行が解決されました。#47370, #47326
  • コンピュート・ストレージ分離モードでのBE運用停止時にGroup Commit WALが完全に再生されない問題が修正されました。#47187
  • Tablet Metaが2GBを超えてMSが利用不可になる問題が解決されました。#44780
  • データ正確性: コンピュート・ストレージ分離モードの主キーテーブルでの2つの重複Key問題が修正されました。#46039, #44975
  • 高頻度リアルタイムインポート時の大きなDelete Bitmapによる主キーテーブルでのBase Compactionの継続的失敗問題が解決されました。#46969
  • 堅牢性を向上させるため、コンピュート・ストレージ分離モードの主キーテーブルでのSchema Changeの不正な再試行ロジックが修正されました。#46748

レイクハウス

Hive

  • SparkによってあるHiveビューがクエリできない問題が修正されました。#43553
  • 特定のHive Transactionテーブルが正しく読み取れない問題が解決されました。#45753
  • パーティション内に特殊文字を含むHiveテーブルでパーティションプルーニングが失敗する問題が修正されました。#42906

Iceberg

  • Kerberos認証環境でIcebergテーブルが作成できない問題が修正されました。#43445
  • dangling deletesを含むIcebergテーブルのcount(*)クエリが不正確な問題が解決されました。#44039
  • Icebergテーブルでのカラム名の不一致によるクエリエラーが修正されました。#44470
  • パーティション変更後にIcebergテーブルが読み取れない問題が解決されました。#45367

Paimon

  • Paimon カタログがAlibaba Cloud OSS-HDFSにアクセスできない問題が修正されました。#42585

Hudi

  • 特定のシナリオでHudiテーブルのパーティションプルーニングが失敗する問題が修正されました。#44669

JDBC

  • 大文字小文字を区別しないテーブル名を有効にした後、JDBC カタログを使用してテーブルを取得できない問題が修正されました。

MaxCompute

  • 特定のシナリオでMaxComputeテーブルのパーティションプルーニングが失敗する問題が修正されました。#44508

その他

  • エクスポートタスクがFEでメモリリークを引き起こす問題が修正されました。#44019
  • S3オブジェクトストレージにHTTPSプロトコル経由でアクセスできない問題が解決されました。#44242
  • Kerberos認証チケットが自動更新できない問題が修正されました。#44916
  • Hadoop Block圧縮形式ファイルの読み取り失敗問題が解決されました。#45289
  • ORC形式データをクエリする際、潜在的な結果エラーを避けるため、CHARタイプの述語がプッシュダウンされなくなりました。#45484

非同期マテリアライズドビュー

  • 極端なシナリオで透明クエリ書き換えが計画や結果エラーを引き起こす可能性がある問題が修正されました。#44575, #45744
  • 極端なシナリオで非同期マテリアライズドビュースケジューリング中に複数のビルドタスクが生成される可能性がある問題が解決されました。#46020, #46280

クエリオプティマイザー

  • 一部の式書き換えが不正な式を生成する可能性がある問題が修正されました。#44770, #44920, #45922, #45596
  • SQL Cacheの時折不正な結果が解決されました。#44782, #44631, #46443, #47266
  • 一部のシナリオで集約演算子のlimitプッシュダウンが不正な結果を生成する可能性がある問題が修正されました。#45369
  • 一部のシナリオで遅延マテリアライゼーション最適化が不正な実行計画を生成する可能性がある問題が解決されました。#45693, #46551

クエリ実行

  • 正規表現とlike関数が特殊文字で不正な結果を生成する問題が修正されました。#44547
  • データベース切り替え時にSQL Cache結果が不正になる可能性がある問題が解決されました。#44782
  • Arrow Flight関連の一連の問題が修正されました。#45023, #43929
  • HashJoinのHashテーブルが4GBを超える場合に結果が不正になることがある問題が解決されました。#46461
  • 中国語文字でのconvert_to関数のオーバーフロー問題が修正されました。#46405
  • group byをLimitと組み合わせて使用する極端なシナリオで結果が不正になる可能性がある問題が解決されました。#47844
  • 特定のシステムテーブルにアクセスする際に結果が不正になる可能性がある問題が修正されました。#47498
  • percentile関数がシステムクラッシュを引き起こす可能性がある問題が解決されました。#47068
  • Limitのあるシングルテーブルクエリの性能劣化問題が修正されました。#46090
  • StDistanceSphereおよびStAngleSphere関数がシステムクラッシュを引き起こす問題が解決されました。#45508
  • map_agg結果が不正な問題が修正されました。#40454

半構造化データ管理

BloomFilter Index

  • BloomFilter Indexの大きなパラメーターによる例外が修正されました。#45780
  • BloomFilter Index書き込み時の高メモリ使用量問題が解決されました。#45833
  • カラムが削除された際にBloomFilter Indexが正しく削除されない問題が修正されました。#44361, #43378

逆引きインデックス

  • 逆引きインデックス構築中の時折発生するクラッシュが修正されました。#43246
  • 逆引きインデックスマージ中に出現回数ゼロの単語が領域を占有する問題が解決されました。#43113
  • Index Size統計での異常に大きな値が防止されるようになりました。#46549
  • VARIANTタイプフィールドの逆引きインデックス問題が修正されました。#43375
  • キャッシュヒット率を向上させるため、逆引きインデックスのローカルキャッシュ局所性が最適化されました。#46518
  • 逆引きインデックスのリモートストレージ読み取り用にクエリプロファイルにNumInvertedIndexRemoteIOTotalメトリックが追加されました。#45675, #44863

その他

  • 特殊なNULLデータでのipv6_cidr_to_range関数のクラッシュ問題が修正されました。#44700

権限

  • CREATE_PRIVを付与する際、対応するリソースの存在がチェックされなくなりました。#45125
  • 極端なシナリオで参照テーブルの権限不足により権限付きビューのクエリが失敗する可能性がある問題が修正されました。#44621
  • use dbの権限チェックが内部および外部カタログを区別しない問題が解決されました。#45720