リリース 3.0.3

コミュニティメンバーの皆様、Apache Doris 3.0.3バージョンが2024年12月02日に正式リリースされました。このバージョンではシステムのパフォーマンスと安定性がさらに強化されています。

クイックダウンロード: https://doris.apache.org/download/

GitHub Release: https://github.com/apache/doris/releases

動作の変更

• 同期materialized viewを持つMOWテーブルでのカラム更新を禁止しました。#40190
• RoutineLoadのデフォルトパラメータを調整し、インポート効率を向上させました。#42968
• StreamLoadが失敗した場合、LoadedRowsの戻り値を0に調整しました。#41946 #42291
• Segment cacheのデフォルトメモリ制限を5%に調整しました。#42308 #42436

新機能

• コールドとホットの階層化レプリカのアフィニティを制御するセッション変数enable_cooldown_replica_affinityを導入しました。#42677

• Hiveテーブルのパーティション情報をクエリするためのtable$partition構文を追加しました。#40774

  • ドキュメントを見る

• Text形式のHiveテーブル作成をサポートしました。#41860 #42175

  • ドキュメントを見る

非同期Materialized View

• 新しいmaterialized view属性use_for_rewriteを導入しました。use_for_rewriteがfalseに設定されている場合、materialized viewは透過的な書き換えに参加しません。#40332

Query Optimizer

• 相関非集約サブクエリをサポートしました。#42236

Query Execution

• 関数ngram_search、normal_cdf、to_iso8601、from_iso8601_date、SESSION_USER()、last_query_idを追加しました。#38226 #40695 #41075 #41600 #39575 #40739
• aes_encryptおよびaes_decrypt関数がGCMモードをサポートしました。#40004
• Profileが変更されたセッション変数値を出力するようになりました。#41016 #41318

半構造化データ管理

• array関数array_match_allとarray_match_anyを追加しました。#40605 #43514
• array関数array_aggがARRAY内でのARRAY/MAP/STRUCTのネストをサポートしました。#42009
• 近似集約統計関数approx_top_kとapprox_top_sumを追加しました。#44082

改善

Storage

• デフォルト値としてbitmap_emptyをサポートしました。#40364
• DELETE文のタイムアウトを制御するセッション変数insert_timeoutを導入しました。#41063
• いくつかのエラーメッセージプロンプトを改善しました。#41048 #39631
• レプリカ修復の優先スケジューリングを改善しました。#41076
• テーブル作成時のタイムゾーン処理の堅牢性を強化しました。#41926 #42389
• テーブル作成時にパーティション式の妥当性をチェックするようになりました。#40158
• DELETE操作でUnicodeエンコードされたカラム名をサポートしました。#39381

Compute-Storage Decoupled

• ストレージとコンピュート分離モードでのARMアーキテクチャデプロイメントをサポートしました。#42467 #43377
• ファイルキャッシュの退避戦略とロック競合を最適化し、ヒット率と高並行性ポイントクエリパフォーマンスを向上させました。#42451 #43201 #41818 #43401
• S3 storage vaultがuse_path_styleをサポートし、オブジェクトストレージでのカスタムドメイン名使用の問題を解決しました。#43060 #43343 #43330
• ストレージとコンピュート分離の設定とデプロイメントを最適化し、異なるモードでの誤操作を防止しました。#43381 #43522 #43434 #40764 #43891
• 可観測性を最適化し、指定されたsegmentファイルキャッシュを削除するためのインターフェースを提供しました。#38489 #42896 #41037 #43412
• Meta-service運用保守インターフェースを最適化しました：RPC レート制限とtabletメタデータ修正。#42413 #43884 #41782 #43460

レイクハウス

• Paimon カタログがAlibaba Cloud DLFとOSS-HDFSストレージをサポートしました。#41247 #42585

  • ドキュメントを参照

• OpenCSV形式のHiveテーブルの読み取りをサポートしました。#42257 #42942

• External カタログでのinformationSchema.columnsテーブルへのアクセスパフォーマンスを最適化しました。#41659 #41962

• 新しいMaxComputeオープンストレージAPIを使用してMaxComputeデータソースにアクセスするようになりました。#41614

• Paimonテーブルの JNI部分のスケジューリングポリシーを最適化し、スキャンタスクをより均衡させました。#43310

• 小さなORCファイルの読み取りパフォーマンスを最適化しました。#42004 #43467

• brotli圧縮形式のparquetファイルの読み取りをサポートしました。#42177

• information_schemaライブラリ下にメタデータキャッシュ統計を表示するfile_cache_statisticsテーブルを追加しました。#42160

Query Optimizer

• 最適化：クエリがコメントのみで異なる場合、同じSQL Cacheを再利用できるようになりました。#40049
• 最適化：データが頻繁に更新される際の統計情報の安定性を改善しました。#43865 #39788 #43009 #40457 #42409 #41894
• 最適化：定数畳み込みの安定性を強化しました。#42910 #41164 #39723 #41394 #42256 #40441
• 最適化：列プルーニングがより良い実行プランを生成できるようになりました。#41719 #41548

Query Execution

• ソート演算子のメモリ使用量を最適化しました。#39306
• ARMでの計算パフォーマンスを最適化しました。#38888 #38759
• 一連の関数の計算パフォーマンスを最適化しました。#40366 #40821 #40670 #41206 #40162
• SSE命令を使用してmatch_ipv6_subnet関数のパフォーマンスを最適化しました。#38755
• insert overwrite中の新しいパーティションの自動作成をサポートしました。#38628 #42645
• Profileに各PipelineTaskのステータスを追加しました。#42981
• IP型がruntime filterをサポートしました。#39985

半構造化データ管理

• 監査ログでprepared statementの実際のSQLを出力するようになりました。#43321
• filebeat doris outputプラグインがフォルトトレラント性と進捗レポートをサポートしました。#36355
• 転置インデックスクエリのパフォーマンスを最適化しました。#41547 #41585 #41567 #41577 #42060 #42372
• array関数array_overlapsが転置インデックスを使用した加速をサポートしました。#41571
• IP関数is_ip_address_in_rangeが転置インデックスを使用した加速をサポートしました。#41571
• VARIANTデータ型のCASTパフォーマンスを最適化しました。#41775 #42438 #43320
• Variantデータ型のCPUリソース消費を最適化しました。#42856 #43062 #43634
• Variantデータ型のメタデータと実行メモリリソース消費を最適化しました。#42448 #43326 #41482 #43093 #43567 #43620

権限

• カスタムグループフィルタリング用のLDAP新設定項目ldap_group_filterを追加しました。#43292

その他

• FE監視項目でユーザー別の接続数情報表示をサポートしました。#39200

バグ修正

Storage

• IPv6ホスト名の使用に関する問題を修正しました。#40074
• broker/s3ロード進捗の不正確な表示を修正しました。#43535
• FEからクエリがハングする可能性がある問題を修正しました。#41303 #42382
• 例外的な状況下での重複auto-increment ID問題を修正しました。#43774 #43983
• groupcommitでの偶発的なNPE問題を修正しました。#43635
• auto bucketの不正確な計算を修正しました。#41675 #41835
• 再起動後にFEがマルチテーブルフローを正しく計画できない可能性がある問題を修正しました。#41677 #42290

Compute-Storage Decoupled

• 大きなdelete bitmapを持つMOW主キーテーブルがcoredumpを引き起こす可能性がある問題を修正しました。#43088 #43457 #43479 #43407 #43297 #43613 #43615 #43854 #43968 #44074 #41793 #42142
• segmentファイルが5MBの倍数の場合にオブジェクトアップロードが失敗する問題を修正しました。#43254
• aws sdkのデフォルト再試行ポリシーが有効にならない問題を修正しました。#43575 #43648
• 間違った型が指定されてもstorage vaultの変更が実行を継続できる問題を修正しました。#43489 #43352 #43495
• 大きなトランザクションの遅延コミットプロセス中にtablet_idが0になる可能性がある問題を修正しました。#42043 #42905
• 定数畳み込みRCPとFE転送SQLが期待される計算グループで実行されない可能性がある問題を修正しました。#43110 #41819 #41846
• meta-serviceがRPC受信時にinstance_idを厳密にチェックしない問題を修正しました。#43253 #43832
• FE followerのinformation_schemaバージョンが適時更新されない問題を修正しました。#43496
• ファイルキャッシュのrenameでの原子性問題と不正確なメトリクスを修正しました。#42869 #43504 #43220

レイクハウス

• JDBCデータソースへの暗黙的変換述語のプッシュダウンを禁止し、一貫性のないクエリ結果を回避しました。#42102
• 高バージョンHiveトランザクションテーブルでのいくつかの読み取り問題を修正しました。#42226
• Exportコマンドがデッドロックを引き起こす可能性がある問題を修正しました。#43083 #43402
• SparkによってHiveビューがクエリできない問題を修正しました。#43552
• 特殊文字を含むHiveパーティションパスが誤ったパーティションプルーニングにつながる問題を修正しました。#42906
• Iceberg カタログでAWS Glueが使用できない問題を修正しました。#41084

非同期Materialized View

• ベーステーブル再構築後に非同期materialized viewがリフレッシュされない可能性がある問題を修正しました。#41762

Query Optimizer

• マルチカラムレンジパーティショニング使用時にパーティションプルーニング結果が正しくない可能性がある問題を修正しました。#43332
• 一部のlimit offsetシナリオでの計算結果の誤りを修正しました。#42576

Query Execution

• 4Gより大きなarray型のhash joinがBE Coreを引き起こす可能性がある問題を修正しました。#43861
• 一部のシナリオでis null述語操作が誤った結果をもたらす可能性がある問題を修正しました。#43619
• hash joinでbitmap型が誤った出力結果を生成する可能性がある問題を修正しました。#43718
• 関数結果が正しく計算されないいくつかの問題を修正しました。#40710 #39358 #40929 #40869 #40285 #39891 #40530 #41948 #43588
• JSON型パースでのいくつかの問題を修正しました。#39937
• runtime filter操作でのvarcharとchar型の問題を修正しました。#43758 #43919
• スカラーおよび集約関数でのdecimal256使用でのいくつかの問題を修正しました。#42136 #42356
• arrow flightが接続時にReach limit of connectionsエラーを報告する問題を修正しました。#39127
• k8s環境でのBEメモリ使用量統計の誤りを修正しました。#41123

半構造化データ管理

• segment_cache_fd_percentageとinverted_index_fd_number_limit_percentのデフォルト値を調整しました。#42224
• logstashがgroup_commitをサポートしました。#40450
• インデックス構築時のcoredump問題を修正しました。#43246 #43298
• variantインデックスの問題を修正しました。#43375 #43773
• 異常なcompaction状況下での潜在的なfdとメモリリークを修正しました。#42374
• 転置インデックスmatchのnullがfalseではなく正しくnullを返すようになりました。#41786
• ngram bloomfilterインデックスのbf_sizeが65536に設定された際のcoredump問題を修正しました。#43645
• 複雑データ型JOIN時の潜在的なcoredump問題を修正しました。#40398
• TVF JSONデータでのcoredump問題を修正しました。#43187
• 日付と時間のbloom filter計算の精度問題を修正しました。#43612
• IPv6型ストレージでのcoredump問題を修正しました。#43251
• light_schema_changeが無効な状態でVARIANT型使用時のcoredump問題を修正しました。#40908
• 高並行性ポイントクエリでのキャッシュパフォーマンスを改善しました。#44077
• カラム削除時にbloom filterインデックスが同期されない問題を修正しました。#43378
• arrayとスカラーデータの混合などの特別な状況下でのes catalogの不安定性問題を修正しました。#40314 #40385 #43399 [#40614