リリース 3.0.4
コミュニティの皆様、Apache Doris 3.0.4バージョンが2025年2月2日に正式にリリースされました。このバージョンでは、システムの性能と安定性がさらに向上しています。
クイックダウンロード: https://doris.apache.org/download/
GitHub Release: https://github.com/apache/doris/releases
動作変更
-
Auditログにおいて、
drop tableおよびdrop database文のforceフラグが保持されるようになりました。#43227 -
Parquet/ORC形式にデータをエクスポートする際、
bitmap、quantile_state、hllタイプはBinary形式でエクスポートされます。また、jsonbおよびvariantタイプのエクスポートサポートが追加され、これらはstringとしてエクスポートされます。#44041- 詳細については、ドキュメントを参照してください:Export 概要 - Apache Doris
-
External カタログを通じて大文字小文字を区別しないテーブル名を持つデータソース(Hiveなど)をクエリする際、以前のバージョンでは任意の大文字小文字でテーブル名をクエリできましたが、バージョン3.0.4では、Doris自体のテーブル名大文字小文字区別ポリシーが厳密に適用されます。
-
Hudi JNI ScannerがSpark APIからHadoop APIに置き換えられ、互換性が向上しました。ユーザーはセッション変数
set hudi_jni_scanner=spark/hadoopで切り替えできます。#44396 -
Colocateテーブルでの
auto bucketの使用が禁止されました。#44396 -
カタログに対してPaimonキャッシュが追加され、リアルタイムデータクエリが排除されました。#44911
-
Broker Loadでの大規模データインポートの性能を向上させるため、
max_broker_concurrencyのデフォルト値が増加されました。#44929 -
Auto パーティションパーティションの
storage mediumのデフォルト値が、システムデフォルト値を使用する代わりに、現在のテーブルのstorage mediumの属性値に変更されました。#45955 -
Keyカラムに対してSchema Change実行中のカラム更新が禁止されました。#46347
-
自動インクリメントカラムを含むKeyカラムに対して、自動インクリメントカラムを提供しないカラム更新を許可するサポートが追加されました。#44528
-
FE IDジェネレーター戦略が時間ベースのアプローチに切り替えられ、IDは10000から開始されなくなりました。#44790
-
コンピュート・ストレージ分離モードでは、Compactionのデフォルトの古いrowsetリサイクル遅延が1800秒に短縮され、リサイクル間隔を減らしています。これにより極端なシナリオで大きなクエリが失敗する可能性があり、必要に応じて調整できます。#45460
-
コンピュート・ストレージ分離モードでは
show cache hotspot文が無効化され、システムテーブルへの直接アクセスが必要になりました。#47332 -
システム作成の
adminユーザーの削除が禁止されました。#44751
改善
ストレージ
max_match_interval設定が小さいことによるRoutine Loadタスクの頻繁なタイムアウト問題が最適化されました。#46292- 複数の圧縮ファイルをインポートする際のBroker Loadの性能が向上しました。#43975
- Stream Load性能を向上させるため、
webserver_num_workersのデフォルト値が増加されました。#46593 - BEノードスケーリング時のRoutine Loadインポートタスクの負荷不均衡問題が最適化されました。#44798
- タイムアウトがクエリに影響を与えないよう、Routine Loadスレッドプールの使用が改善されました。#45039
コンピュート・ストレージ分離
- Meta-serviceの安定性と観測可能性が向上しました。#44036, #45617, #45255, #45068
- File Cacheに早期退去戦略の追加、ロック時間の削減、クエリ性能の向上による最適化が行われました。#47473, #45678, #47472
- 安定性を向上させるため、File Cacheの初期化チェックとキュー遷移が改善されました。#44004, #44429, #45057, #47229
- HDFSデータリサイクルの速度が向上しました。#46393
- 超高頻度インポート時のFEによるコンピュートグループ取得の性能問題が最適化されました。#47203
- リアルタイム高同時インポートの安定性を向上させるため、コンピュート・ストレージ分離における主キーテーブルのインポート関連パラメーターが改善されました。#47295, #46750, #46365
レイクハウス
-
JSON形式のHiveテーブルの読み取りがサポートされました。#43469
- 詳細については、ドキュメントを参照してください:Text/CSV/JSON - Apache Doris
-
CSV形式のUTF-8エンコーディングチェックをスキップするセッション変数
enable_text_validate_utf8が導入されました。#45537- 詳細については、ドキュメントを参照してください:Text/CSV/JSON - Apache Doris
-
Hudiバージョンが0.15に更新され、Hudiテーブルのクエリ計画性能が最適化されました。
-
MaxComputeパーティションテーブルの読み取り性能が向上しました。#45148
-
高フィルタレート下でのParquetファイル遅延マテリアライゼーションの性能が最適化されました。#46183
-
複雑なParquetタイプの遅延マテリアライゼーションがサポートされました。#44098
-
ORCタイプの述語プッシュダウンロジックが最適化され、インデックスフィルタリング用のより多くの述語条件がサポートされました。#43255
非同期マテリアライズドビュー
- 集約ロールアップ書き換えのより多くのシナリオがサポートされました。#44412
クエリオプティマイザー
- パーティションプルーニング性能が向上しました。#46261
- データ特性に基づいて
group byキーを排除するルールが追加されました。#43391 - ターゲットテーブルサイズに基づいてRuntime Filtersの待機時間を適応的に調整するようになりました。#42640
- より多くのシナリオに適用できるよう、ジョインでの集約プッシュダウン能力が向上しました。#43856, #43380
- より多くのシナリオに適用できるよう、集約でのLimitプッシュダウンが改善されました。#44042
その他
- FE、BE、MSプロセスの起動スクリプトが最適化され、より明確な出力を提供するようになりました。#45610, #45490, #45883
show tablesでのテーブル名の大文字小文字区別がMySQLの動作と一致するようになりました。#46030show indexが任意のターゲットテーブルタイプをサポートするようになりました。#45861information_schema.columnsがデフォルト値の表示をサポートするようになりました。#44849information_schema.viewsがビュー定義の表示をサポートするようになりました。#45857- MySQLプロトコル
COM_RESET_CONNECTIONコマンドがサポートされました。#44747
バグ修正
ストレージ
- 集約テーブルモデルのインポートプロセス中の潜在的なメモリエラーが修正されました。#46997
- コンピュート・ストレージ分離モードでFEマスターノード再起動時のRoutine Loadオフセット損失問題が解決されました。#46566
- コンピュートストレージモードでのバッチインポートシナリオ中のFE Observerノードのメモリリークが修正されました。#47244
- Order Data CompactionでのFull Compaction中のCumulative Pointロールバック問題が解決されました。#44359
- Delete操作がTablet Compactionスケジューリングを一時的に妨げる問題が修正されました。#43466
- マルチコンピュートクラスターシナリオでのSchema Change後の不正なTablet状態が解決されました。#45821
sequence_typeを持つ主キーテーブルでColumn Rename Schema Changeを実行する際の潜在的なNPEエラーが修正されました。#46906- データ正確性: DELETE SIGNカラムを含む部分カラム更新をインポートする際の主キーテーブルの正確性問題が修正されました。#46194
- 主キーテーブルのPublishタスクが継続的にスタックした際のFEの潜在的なメモリリークが解決されました。#44846
コンピュート・ストレージ分離
- File Cacheサイズがテーブルデータサイズを超える可能性がある問題が修正されました。#46561, #46390
- データアップロード時の5MB境界でのアップロード失敗が解決されました。#47333
- Storage Vaultでのいくつかの
alter操作に対してより多くのパラメーターチェックを追加することで堅牢性が向上しました。#45155, #45156, #46625, #47078, #45685, #46779 - 不適切なStorage Vault設定によるデータリサイクル失敗または遅いリサイクルの問題が解決されました。#46798, #47536, #47475, #47324, #45072
- データリサイクルが停止し、タイムリーなリサイクルが阻害される問題が修正されました。#45760
- コンピュート・ストレージ分離モードでのMTTM-230エラーの不正な再試行が解決されました。#47370, #47326
- コンピュート・ストレージ分離モードでのBE運用停止時にGroup Commit WALが完全に再生されない問題が修正されました。#47187
- Tablet Metaが2GBを超えてMSが利用不可になる問題が解決されました。#44780
- データ正確性: コンピュート・ストレージ分離モードの主キーテーブルでの2つの重複Key問題が修正されました。#46039, #44975
- 高頻度リアルタイムインポート時の大きなDelete Bitmapによる主キーテーブルでのBase Compactionの継続的失敗問題が解決されました。#46969
- 堅牢性を向上させるため、コンピュート・ストレージ分離モードの主キーテーブルでのSchema Changeの不正な再試行ロジックが修正されました。#46748
レイクハウス
Hive
- SparkによってあるHiveビューがクエリできない問題が修正されました。#43553
- 特定のHive Transactionテーブルが正しく読み取れない問題が解決されました。#45753
- パーティション内に特殊文字を含むHiveテーブルでパーティションプルーニングが失敗する問題が修正されました。#42906
Iceberg
- Kerberos認証環境でIcebergテーブルが作成できない問題が修正されました。#43445
- dangling deletesを含むIcebergテーブルの
count(*)クエリが不正確な問題が解決されました。#44039 - Icebergテーブルでのカラム名の不一致によるクエリエラーが修正されました。#44470
- パーティション変更後にIcebergテーブルが読み取れない問題が解決されました。#45367
Paimon
- Paimon カタログがAlibaba Cloud OSS-HDFSにアクセスできない問題が修正されました。#42585
Hudi
- 特定のシナリオでHudiテーブルのパーティションプルーニングが失敗する問題が修正されました。#44669
JDBC
- 大文字小文字を区別しないテーブル名を有効にした後、JDBC カタログを使用してテーブルを取得できない問題が修正されました。
MaxCompute
- 特定のシナリオでMaxComputeテーブルのパーティションプルーニングが失敗する問題が修正されました。#44508
その他
- エクスポートタスクがFEでメモリリークを引き起こす問題が修正されました。#44019
- S3オブジェクトストレージにHTTPSプロトコル経由でアクセスできない問題が解決されました。#44242
- Kerberos認証チケットが自動更新できない問題が修正されました。#44916
- Hadoop Block圧縮形式ファイルの読み取り失敗問題が解決されました。#45289
- ORC形式データをクエリする際、潜在的な結果エラーを避けるため、CHARタイプの述語がプッシュダウンされなくなりました。#45484
非同期マテリアライズドビュー
- 極端なシナリオで透明クエリ書き換えが計画や結果エラーを引き起こす可能性がある問題が修正されました。#44575, #45744
- 極端なシナリオで非同期マテリアライズドビュースケジューリング中に複数のビルドタスクが生成される可能性がある問題が解決されました。#46020, #46280
クエリオプティマイザー
- 一部の式書き換えが不正な式を生成する可能性がある問題が修正されました。#44770, #44920, #45922, #45596
- SQL Cacheの時折不正な結果が解決されました。#44782, #44631, #46443, #47266
- 一部のシナリオで集約演算子のlimitプッシュダウンが不正な結果を生成する可能性がある問題が修正されました。#45369
- 一部のシナリオで遅延マテリアライゼーション最適化が不正な実行計画を生成する可能性がある問題が解決されました。#45693, #46551
クエリ実行
- 正規表現と
like関数が特殊文字で不正な結果を生成する問題が修正されました。#44547 - データベース切り替え時にSQL Cache結果が不正になる可能性がある問題が解決されました。#44782
- Arrow Flight関連の一連の問題が修正されました。#45023, #43929
- HashJoinのHashテーブルが4GBを超える場合に結果が不正になることがある問題が解決されました。#46461
- 中国語文字での
convert_to関数のオーバーフロー問題が修正されました。#46405 group byをLimitと組み合わせて使用する極端なシナリオで結果が不正になる可能性がある問題が解決されました。#47844- 特定のシステムテーブルにアクセスする際に結果が不正になる可能性がある問題が修正されました。#47498
percentile関数がシステムクラッシュを引き起こす可能性がある問題が解決されました。#47068- Limitのあるシングルテーブルクエリの性能劣化問題が修正されました。#46090
StDistanceSphereおよびStAngleSphere関数がシステムクラッシュを引き起こす問題が解決されました。#45508map_agg結果が不正な問題が修正されました。#40454
半構造化データ管理
BloomFilter Index
- BloomFilter Indexの大きなパラメーターによる例外が修正されました。#45780
- BloomFilter Index書き込み時の高メモリ使用量問題が解決されました。#45833
- カラムが削除された際にBloomFilter Indexが正しく削除されない問題が修正されました。#44361, #43378
逆引きインデックス
- 逆引きインデックス構築中の時折発生するクラッシュが修正されました。#43246
- 逆引きインデックスマージ中に出現回数ゼロの単語が領域を占有する問題が解決されました。#43113
- Index Size統計での異常に大きな値が防止されるようになりました。#46549
- VARIANTタイプフィールドの逆引きインデックス問題が修正されました。#43375
- キャッシュヒット率を向上させるため、逆引きインデックスのローカルキャッシュ局所性が最適化されました。#46518
- 逆引きインデックスのリモートストレージ読み取り用にクエリプロファイルに
NumInvertedIndexRemoteIOTotalメトリックが追加されました。#45675, #44863
その他
- 特殊なNULLデータでの
ipv6_cidr_to_range関数のクラッシュ問題が修正されました。#44700