リリース 3.0.3

コミュニティの皆様へ、Apache Doris 3.0.3版は2024年12月02日に正式にリリースされました。このバージョンはシステムのパフォーマンスと安定性をさらに向上させています。

クイックダウンロード: https://doris.apache.org/download/

GitHub Release: https://github.com/apache/doris/releases

動作変更

• 同期マテリアライズドビューを持つMOWテーブルでの列更新を禁止しました。#40190
• RoutineLoadのデフォルトパラメータを調整し、インポート効率を向上させました。#42968
• StreamLoadが失敗した際、LoadedRowsの戻り値を0に調整しました。#41946 #42291
• Segmentキャッシュのデフォルトメモリ制限を5%に調整しました。#42308 #42436

新機能

• セッション変数enable_cooldown_replica_affinityを導入し、コールド・ホット階層化レプリカの親和性を制御できるようになりました。#42677

• Hiveテーブルのパーティション情報を照会するtable$partition構文を追加しました。#40774

  • ドキュメントを見る

• Text形式でのHiveテーブル作成をサポートしました。#41860 #42175

  • ドキュメントを見る

非同期マテリアライズドビュー

• 新しいマテリアライズドビュー属性use_for_rewriteを導入しました。use_for_rewriteがfalseに設定されると、マテリアライズドビューは透過的リライトに参加しません。#40332

クエリオプティマイザ

• 相関非集約サブクエリをサポートしました。#42236

クエリ実行

• 関数ngram_search、normal_cdf、to_iso8601、from_iso8601_date、SESSION_USER()、last_query_idを追加しました。#38226 #40695 #41075 #41600 #39575 #40739
• aes_encryptおよびaes_decrypt関数でGCMモードをサポートしました。#40004
• Profileで変更されたセッション変数値を出力するようになりました。#41016 #41318

半構造化データ管理

• 配列関数array_match_allとarray_match_anyを追加しました。#40605 #43514
• 配列関数array_aggでARRAY内のARRAY/MAP/STRUCTのネストをサポートしました。#42009
• 近似集約統計関数approx_top_kとapprox_top_sumを追加しました。#44082

改善

ストレージ

• bitmap_emptyをデフォルト値としてサポートしました。#40364
• DELETE文のタイムアウトを制御するセッション変数insert_timeoutを導入しました。#41063
• 一部のエラーメッセージプロンプトを改善しました。#41048 #39631
• レプリカ修復の優先度スケジューリングを改善しました。#41076
• テーブル作成時のタイムゾーン処理の堅牢性を強化しました。#41926 #42389
• テーブル作成時にパーティション式の妥当性をチェックするようになりました。#40158
• DELETE操作でUnicodeエンコードされた列名をサポートしました。#39381

コンピューティング・ストレージ分離

• ストレージとコンピューティング分離モードでARMアーキテクチャデプロイメントをサポートしました。#42467 #43377
• ファイルキャッシュの退避戦略とロック競合を最適化し、ヒット率と高並行ポイントクエリパフォーマンスを向上させました。#42451 #43201 #41818 #43401
• S3 storage vaultでuse_path_styleをサポートし、オブジェクトストレージのカスタムドメイン名使用の問題を解決しました。#43060 #43343 #43330
• ストレージとコンピューティング分離の設定とデプロイメントを最適化し、異なるモードでの誤操作を防止しました。#43381 #43522 #43434 #40764 #43891
• 可観測性を最適化し、指定されたsegmentファイルキャッシュを削除するインターフェースを提供しました。#38489 #42896 #41037 #43412
• Meta-service運用保守インターフェースを最適化：RPC速度制限とtabletメタデータ修正。#42413 #43884 #41782 #43460

レイクハウス

• Paimon カタログでAlibaba Cloud DLFとOSS-HDFSストレージをサポートしました。#41247 #42585

  • ドキュメントを見る

• OpenCSV形式のHiveテーブル読み取りをサポートしました。#42257 #42942

• External カタログのinformation_schema.columnsテーブルアクセスパフォーマンスを最適化しました。#41659 #41962

• 新しいMaxComputeオープンストレージAPIを使用してMaxComputeデータソースにアクセスするようになりました。#41614

• PaimonテーブルのJNI部分のスケジューリングポリシーを最適化し、スキャンタスクをより均衡させました。#43310

• 小さなORCファイルの読み取りパフォーマンスを最適化しました。#42004 #43467

• brotli圧縮形式のparquetファイル読み取りをサポートしました。#42177

• information_schemaライブラリ下にfile_cache_statisticsテーブルを追加し、メタデータキャッシュ統計を表示できるようになりました。#42160

クエリオプティマイザ

• 最適化：クエリがコメントのみ異なる場合、同じSQL Cacheを再利用できるようになりました。#40049
• 最適化：データが頻繁に更新される際の統計情報の安定性を改善しました。#43865 #39788 #43009 #40457 #42409 #41894
• 最適化：定数畳み込みの安定性を強化しました。#42910 #41164 #39723 #41394 #42256 #40441
• 最適化：列プルーニングでより良い実行プランを生成できるようになりました。#41719 #41548

クエリ実行

• ソート演算子のメモリ使用量を最適化しました。#39306
• ARMでの計算パフォーマンスを最適化しました。#38888 #38759
• 一連の関数の計算パフォーマンスを最適化しました。#40366 #40821 #40670 #41206 #40162
• SSE命令を使用してmatch_ipv6_subnet関数のパフォーマンスを最適化しました。#38755
• insert overwrite時の新しいパーティションの自動作成をサポートしました。#38628 #42645
• ProfileにそれぞれのPipelineTaskの状態を追加しました。#42981
• IP型でランタイムフィルターをサポートしました。#39985

半構造化データ管理

• 監査ログでprepared statementの実際のSQLを出力するようになりました。#43321
• filebeat doris outputプラグインで耐障害性と進捗レポートをサポートしました。#36355
• 転置インデックスクエリのパフォーマンスを最適化しました。#41547 #41585 #41567 #41577 #42060 #42372
• 配列関数array overlapsで転置インデックスを使用した高速化をサポートしました。#41571
• IP関数is_ip_address_in_rangeで転置インデックスを使用した高速化をサポートしました。#41571
• VARIANTデータ型のCASTパフォーマンスを最適化しました。#41775 #42438 #43320
• Variantデータ型のCPUリソース消費を最適化しました。#42856 #43062 #43634
• Variantデータ型のメタデータと実行メモリリソース消費を最適化しました。#42448 #43326 #41482 #43093 #43567 #43620

権限

• LDAPにカスタムグループフィルタリング用の新しい設定項目ldap_group_filterを追加しました。#43292

その他

• FE監視項目でユーザー別接続数情報の表示をサポートしました。#39200

バグ修正

ストレージ

• IPv6ホスト名使用の問題を修正しました。#40074
• broker/s3 load進捗の不正確な表示を修正しました。#43535
• FEからクエリがハングする可能性がある問題を修正しました。#41303 #42382
• 例外的な状況下でのauto-increment ID重複の問題を修正しました。#43774 #43983
• groupcommitの間欠的なNPE問題を修正しました。#43635
• auto bucketの不正確な計算を修正しました。#41675 #41835
• FE再起動後に複数テーブルフローを正しく計画できない可能性がある問題を修正しました。#41677 #42290

コンピューティング・ストレージ分離

• 大きなdelete bitmapを持つMOW主キーテーブルがcoredumpを引き起こす可能性がある問題を修正しました。#43088 #43457 #43479 #43407 #43297 #43613 #43615 #43854 #43968 #44074 #41793 #42142
• segmentファイルが5MBの倍数の場合にオブジェクトアップロードが失敗する問題を修正しました。#43254
• aws sdkのデフォルトリトライポリシーが有効にならない問題を修正しました。#43575 #43648
• 間違ったタイプが指定された場合でもstorage vault変更が実行を継続する問題を修正しました。#43489 #43352 #43495
• 大規模トランザクションの遅延コミットプロセス中にtablet_idが0になる可能性がある問題を修正しました。#42043 #42905
• 定数畳み込みRCPとFE転送SQLが期待されるコンピューティンググループで実行されない可能性がある問題を修正しました。#43110 #41819 #41846
• meta-serviceがRPC受信時にinstance_idを厳密にチェックしない問題を修正しました。#43253 #43832
• FE follower information_schemaバージョンが適時更新されない問題を修正しました。#43496
• ファイルキャッシュリネームのアトミック性と不正確なメトリクスの問題を修正しました。#42869 #43504 #43220

レイクハウス

• JDBCデータソースへの暗黙的変換述語のプッシュダウンを禁止し、一貫しないクエリ結果を避けるようにしました。#42102
• 高バージョンHiveトランザクショナルテーブルの一部の読み取り問題を修正しました。#42226
• Exportコマンドがデッドロックを引き起こす可能性がある問題を修正しました。#43083 #43402
• SparkによるHiveビュー作成をクエリできない問題を修正しました。#43552
• 特殊文字を含むHiveパーティションパスが不正確なパーティションプルーニングを引き起こす問題を修正しました。#42906
• Iceberg カタログでAWS Glueを使用できない問題を修正しました。#41084

非同期マテリアライズドビュー

• ベーステーブル再構築後に非同期マテリアライズドビューが更新されない可能性がある問題を修正しました。#41762

クエリオプティマイザ

• マルチ列範囲パーティショニング使用時にパーティションプルーニング結果が不正確になる可能性がある問題を修正しました。#43332
• 一部のlimit offsetシナリオで計算結果が不正確になる問題を修正しました。#42576

クエリ実行

• 4Gを超える配列型のhash joinがBE Coreを引き起こす可能性がある問題を修正しました。#43861
• is null述語操作が一部のシナリオで不正確な結果を生成する可能性がある問題を修正しました。#43619
• bitmap型がhash joinで不正確な出力結果を生成する可能性がある問題を修正しました。#43718
• 関数結果が不正確に計算される一部の問題を修正しました。#40710 #39358 #40929 #40869 #40285 #39891 #40530 #41948 #43588
• JSON型解析の一部の問題を修正しました。#39937
• runtime filter操作でのvarcharとchar型の問題を修正しました。#43758 #43919
• スカラーおよび集約関数でのdecimal256使用の一部の問題を修正しました。#42136 #42356
• arrow flight接続時にReach limit of connectionsエラーを報告する問題を修正しました。#39127
• k8s環境でのBEメモリ使用量統計の不正確な問題を修正しました。#41123

半構造化データ管理

• segment_cache_fd_percentageとinverted_index_fd_number_limit_percentのデフォルト値を調整しました。#42224
• logstashでgroup_commitをサポートしました。#40450
• インデックス構築時のcoredump問題を修正しました。#43246 #43298
• variantインデックスの問題を修正しました。#43375 #43773
• 異常なcompaction状況下でのfdとメモリリークの可能性を修正しました。#42374
• 転置インデックスmatch nullが正しくnullを返すようになりました（falseではなく）。#41786
• ngram bloomfilterインデックスのbf_sizeが65536に設定された際のcoredump問題を修正しました。#43645
• 複合データ型JOIN時の潜在的なcoredump問題を修正しました。#40398
• TVF JSONデータでのcoredump問題を修正しました。#43187
• 日付と時刻のbloom filter計算の精度問題を修正しました。#43612
• IPv6型ストレージでのcoredump問題を修正しました。#43251
• light_schema_changeを無効にした状態でVARIANT型使用時のcoredump問題を修正しました。#40908
• 高並行ポイントクエリのキャッシュパフォーマンスを改善しました。#44077
• 列削除時にbloom filterインデックスが同期されない問題を修正しました。#43378
• 配列とスカラーデータの混在などの特殊状況下