リリース 3.0.4
コミュニティメンバーの皆様、Apache Doris 3.0.4 バージョンが2025年2月2日に正式リリースされました。このバージョンでは、システムのパフォーマンスと安定性がさらに向上しています。
クイックダウンロード: https://doris.apache.org/download/
GitHub Release: https://github.com/apache/doris/releases
動作変更
-
Auditログにおいて、
drop tableおよびdrop database文でforceフラグが保持されます。#43227 -
Parquet/ORC形式へのデータエクスポート時、
bitmap、quantile_state、hllタイプはBinary形式でエクスポートされます。また、jsonbとvariantタイプのエクスポートサポートが追加され、これらはstringとしてエクスポートされます。#44041- 詳細については、ドキュメントを参照してください:Export 概要 - Apache Doris
-
External カタログを通じて、大文字小文字を区別しないテーブル名のデータソース(Hiveなど)をクエリする際、以前のバージョンでは任意の大文字小文字でテーブル名をクエリできましたが、バージョン3.0.4では、Doris自体のテーブル名大文字小文字区別ポリシーが厳密に適用されます。
-
Hudi JNI ScannerがSpark APIからHadoop APIに置き換えられ、互換性が強化されました。ユーザーはセッション変数
set hudi_jni_scanner=spark/hadoopで切り替えることができます。#44396 -
Colocateテーブルでの
auto bucketの使用が禁止されました。#44396 -
Paimonキャッシュがカタログに追加され、リアルタイムデータクエリが除去されました。#44911
-
Broker Loadによる大規模データインポートのパフォーマンスを向上させるため、
max_broker_concurrencyのデフォルト値が増加されました。#44929 -
Auto パーティションパーティションの
storage mediumのデフォルト値が、システムのデフォルト値ではなく、現在のテーブルのstorage medium属性値に変更されました。#45955 -
Schema Change実行中のKeyカラムのカラム更新が禁止されました。#46347
-
自動インクリメントカラムを含むKeyカラムに対して、自動インクリメントカラムを提供せずにカラム更新を行えるサポートが追加されました。#44528
-
FE IDジェネレータ戦略が時間ベースのアプローチに切り替えられ、IDは10000から開始されなくなりました。#44790
-
コンピューティング・ストレージ分離モードにおいて、Compactionのデフォルトstale rowsetリサイクル遅延が1800秒に短縮され、リサイクル間隔が短縮されました。これにより極端なシナリオで大規模クエリが失敗する可能性があり、必要に応じて調整可能です。#45460
-
コンピューティング・ストレージ分離モードで
show cache hotspot文が無効化され、システムテーブルへの直接アクセスが必要になりました。#47332 -
システム作成の
adminユーザーの削除が禁止されました。#44751
改善
ストレージ
max_match_interval設定が小さいことによるRoutine Loadタスクの頻繁なタイムアウト問題が最適化されました。#46292- 複数の圧縮ファイルをインポートする際のBroker Loadパフォーマンスが改善されました。#43975
- Stream Loadパフォーマンスを向上させるため、
webserver_num_workersのデフォルト値が増加されました。#46593 - BEノードスケーリング時のRoutine Loadインポートタスクの負荷不均衡問題が最適化されました。#44798
- タイムアウトがクエリに影響しないよう、Routine Loadスレッドプールの使用が改善されました。#45039
コンピューティング・ストレージ分離
- Meta-serviceの安定性と可観測性が強化されました。#44036, #45617, #45255, #45068
- 早期削除戦略の追加、ロック時間の削減、クエリパフォーマンスの向上により、File Cacheが最適化されました。#47473, #45678, #47472
- 安定性を向上させるため、File Cacheの初期化チェックとキュー遷移が改善されました。#44004, #44429, #45057, #47229
- HDFSデータリサイクルの速度が向上しました。#46393
- 超高頻度インポート時のFEによるコンピュートグループ取得のパフォーマンス問題が最適化されました。#47203
- リアルタイム高同時実行インポートの安定性を向上させるため、コンピューティング・ストレージ分離における主キーテーブルのインポート関連パラメータが改善されました。#47295, #46750, #46365
レイクハウス
-
JSON形式のHiveテーブル読み取りがサポートされました。#43469
- 詳細については、ドキュメントを参照してください:Text/CSV/JSON - Apache Doris
-
CSV形式のUTF-8エンコーディングチェックをスキップするセッション変数
enable_text_validate_utf8が導入されました。#45537- 詳細については、ドキュメントを参照してください:Text/CSV/JSON - Apache Doris
-
Hudiバージョンが0.15に更新され、Hudiテーブルのクエリ計画パフォーマンスが最適化されました。
-
MaxComputeパーティションテーブルの読み取りパフォーマンスが改善されました。#45148
-
高フィルタレート下でのParquetファイル遅延実体化のパフォーマンスが最適化されました。#46183
-
複雑なParquetタイプの遅延実体化がサポートされました。#44098
-
ORCタイプの述語プッシュダウンロジックが最適化され、インデックスフィルタリング用のより多くの述語条件がサポートされました。#43255
非同期マテリアライズドビュー
- より多くの集約ロールアップ書き換えシナリオがサポートされました。#44412
クエリオプティマイザ
- パーティションプルーニングパフォーマンスが改善されました。#46261
- データ特性に基づいて
group byキーを除去するルールが追加されました。#43391 - ターゲットテーブルサイズに基づいてRuntime Filtersの待機時間が適応的に調整されるようになりました。#42640
- より多くのシナリオに適合するよう、joinにおける集約のプッシュダウン機能が改善されました。#43856, #43380
- より多くのシナリオに適合するよう、集約のLimitプッシュダウンが改善されました。#44042
その他
- FE、BE、MSプロセスの起動スクリプトが最適化され、より明確な出力が提供されるようになりました。#45610, #45490, #45883
show tablesにおけるテーブル名の大文字小文字区別がMySQLの動作と一致するようになりました。#46030show indexで任意のターゲットテーブルタイプがサポートされるようになりました。#45861information_schema.columnsでデフォルト値の表示がサポートされました。#44849information_schema.viewsでビュー定義の表示がサポートされました。#45857- MySQLプロトコル
COM_RESET_CONNECTIONコマンドがサポートされました。#44747
バグ修正
ストレージ
- 集約テーブルモデルのインポート処理中の潜在的なメモリエラーが修正されました。#46997
- コンピューティング・ストレージ分離モードでのFEマスターノード再起動時のRoutine Loadオフセット損失問題が解決されました。#46566
- コンピューティング・ストレージモードでのバッチインポートシナリオにおけるFE Observerノードのメモリリークが修正されました。#47244
- Order Data CompactionでのFull Compaction時のCumulative Pointロールバック問題が解決されました。#44359
- Delete操作がTablet Compactionスケジューリングを一時的に妨げる問題が修正されました。#43466
- マルチコンピューティングクラスタシナリオでのSchema Change後の不正なTablet状態が解決されました。#45821
sequence_typeを持つ主キーテーブルでColumn Rename Schema Changeを実行する際の潜在的なNPEエラーが修正されました。#46906- データ正確性:DELETE SIGNカラムを含む部分カラム更新をインポートする際の主キーテーブルの正確性問題が修正されました。#46194
- 主キーテーブルのPublishタスクが継続的にスタックした際のFEの潜在的なメモリリークが解決されました。#44846
コンピューティング・ストレージ分離
- File Cacheサイズがテーブルデータサイズを超える問題が修正されました。#46561, #46390
- データアップロード時の5MB境界でのアップロード失敗が解決されました。#47333
- Storage Vaultの複数の
alter操作に対してより多くのパラメータチェックを追加し、堅牢性が強化されました。#45155, #45156, #46625, #47078, #45685, #46779 - 不適切なStorage Vault設定によるデータリサイクル失敗または低速リサイクル問題が解決されました。#46798, #47536, #47475, #47324, #45072
- データリサイクルが停止し、適時にリサイクルされない問題が修正されました。#45760
- コンピューティング・ストレージ分離モードでのMTTM-230エラーの不正な再試行が解決されました。#47370, #47326
- コンピューティング・ストレージ分離モードでのBE廃止時にGroup Commit WALが完全に再生されない問題が修正されました。#47187
- Tablet Metaが2GBを超えるとMSが利用不可能になる問題が解決されました。#44780
- データ正確性:コンピューティング・ストレージ分離モードでの主キーテーブルにおける2つの重複Key問題が修正されました。#46039, #44975
- 高頻度リアルタイムインポート時の大きなDelete Bitmapによる主キーテーブルでのBase Compactionの継続的失敗問題が解決されました。#46969
- 堅牢性を強化するため、コンピューティング・ストレージ分離モードでの主キーテーブルにおけるSchema Changeの不正な再試行ロジックが修正されました。#46748
レイクハウス
Hive
- SparkによってビューされたHiveビューがクエリできない問題が修正されました。#43553
- 特定のHive Transactionテーブルが正しく読み取れない問題が解決されました。#45753
- パーティションに特殊文字を含むHiveテーブルでパーティションプルーニングが失敗する問題が修正されました。#42906
Iceberg
- Kerberos認証環境でIcebergテーブルを作成できない問題が修正されました。#43445
- dangling deletesを含むIcebergテーブルで
count(*)クエリが不正確である問題が解決されました。#44039 - Icebergテーブルでカラム名の不一致によりクエリエラーが発生する問題が修正されました。#44470
- パーティション変更後にIcebergテーブルが読み取れない問題が解決されました。#45367
Paimon
- Paimon カタログがAlibaba Cloud OSS-HDFSにアクセスできない問題が修正されました。#42585
Hudi
- 特定のシナリオでHudiテーブルのパーティションプルーニングが失敗する問題が修正されました。#44669
JDBC
- 大文字小文字を区別しないテーブル名を有効にした後、JDBC カタログを使用してテーブルを取得できない問題が修正されました。
MaxCompute
- 特定のシナリオでMaxComputeテーブルのパーティションプルーニングが失敗する問題が修正されました。#44508
その他
- エクスポートタスクがFEでメモリリークを引き起こす問題が修正されました。#44019
- HTTPSプロトコル経由でS3オブジェクトストレージにアクセスできない問題が解決されました。#44242
- Kerberos認証チケットが自動更新できない問題が修正されました。#44916
- Hadoop Block圧縮形式ファイルの読み取りが失敗する問題が解決されました。#45289
- ORC形式データのクエリ時に、潜在的な結果エラーを回避するため、CHARタイプの述語がプッシュダウンされないようになりました。#45484
非同期マテリアライズドビュー
- 極端なシナリオでトランスペアレントクエリ書き換えが計画または結果エラーを引き起こす問題が修正されました。#44575, #45744
- 極端なシナリオでの非同期マテリアライズドビュースケジューリング時に複数のビルドタスクが生成される問題が解決されました。#46020, #46280
クエリオプティマイザ
- 一部の式書き換えが不正な式を生成する問題が修正されました。#44770, #44920, #45922, #45596
- SQL Cacheの時折の不正な結果が解決されました。#44782, #44631, #46443, #47266
- 一部のシナリオで集約演算子のlimitプッシュダウンが不正な結果を生成する問題が修正されました。#45369
- 一部のシナリオで遅延実体化最適化が不正な実行計画を生成する問題が解決されました。#45693, #46551
クエリ実行
- 特殊文字で正規表現と
like関数が不正な結果を生成する問題が修正されました。#44547 - データベース切り替え時にSQL Cacheの結果が不正になる問題が解決されました。#44782
- Arrow Flight関連の一連の問題が修正されました。#45023, #43929
- 一部のケースでHashJoinのHashテーブルが4GBを超えた際に結果が不正になる問題が解決されました。#46461
- 中国語文字での
convert_to関数のオーバーフロー問題が修正されました。#46405 - 極端なシナリオで
group byをLimitと組み合わせて使用した際に結果が不正になる問題が解決されました。#47844 - 特定のシステムテーブルにアクセスする際に結果が不正になる問題が修正されました。#47498
percentile関数がシステムクラッシュを引き起こす問題が解決されました。#47068- Limit付き単一テーブルクエリのパフォーマンス劣化問題が修正されました。#46090
StDistanceSphereとStAngleSphere関数がシステムクラッシュを引き起こす問題が解決されました。#45508map_agg結果が不正である問題が修正されました。#40454
半構造化データ管理
BloomFilter Index
- BloomFilter Indexの大きなパラメータによる例外が修正されました。#45780
- BloomFilter Index書き込み時の高メモリ使用量問題が解決されました。#45833
- カラムが削除された際にBloomFilter Indexが正しく削除されない問題が修正されました。#44361, #43378
Inverted Index
- 転置インデックス構築時の時折のクラッシュが修正されました。#43246
- 転置インデックスマージ時に出現回数がゼロの単語が容量を占有する問題が解決されました。#43113
- Index Size統計での異常に大きな値が防止されました。#46549
- VARIANTタイプフィールドの転置インデックス問題が修正されました。#43375
- キャッシュヒット率を向上させるため、転置インデックスのローカルキャッシュ局所性が最適化されました。#46518
- 転置インデックスのリモートストレージ読み取りのため、クエリプロファイルにメトリクス
NumInvertedIndexRemoteIOTotalが追加されました。#45675, #44863
その他
- 特殊なNULLデータでの
ipv6_cidr_to_range関数のクラッシュ問題が修正されました。#44700