リリース 2.1.8
コミュニティの皆様、Apache Doris バージョン 2.1.8 が 2025年1月24日に正式にリリースされました。このバージョンでは、レイクハウス、非同期マテリアライズドビュー、クエリオプティマイザと実行エンジン、ストレージ管理など、いくつかの主要領域において継続的なアップグレードと機能拡張を導入しています。
動作変更
- BEプロセス内でのulimit値検証チェックをスキップするための環境変数
SKIP_CHECK_ULIMITを追加。これはDockerクイックスタートシナリオのアプリケーションでのみ利用可能です。#45267 - 冷温分離でのクエリにおけるレプリカアフィニティの選択を制御するセッション変数
enable_cooldown_replica_affinityを追加。 - FEで、dbタブレット数が極めて大きい場合のバックアップと復元操作中のFEのOOM問題を解決するための設定
restore_job_compressed_serializationとbackup_job_compressed_serializationを追加。デフォルトでは、これらの設定は無効化されており、有効化すると、ダウングレードできません。
新機能
改善
レイクハウス
- Hudiバージョンを0.15に更新。Hudiテーブルのクエリプランニングパフォーマンスを最適化。
- MaxComputeパーティションテーブルの読み取りパフォーマンスを最適化。#45148
- CSV形式でのUTF8エンコーディング検出を無視できるセッション変数
enable_text_validate_utf8をサポート。#45537 - 高フィルタリング率条件下でのParquetファイルレイジーマテリアライゼーションのパフォーマンスを最適化。#46183
非同期マテリアライズドビュー
クエリオプティマイザ
- ランタイムフィルタの適応能力を向上#42640。
max/min集約関数カラムのフィルタ条件から元のカラムフィルタ条件を生成する機能を追加#39252- 結合述語から単一サイドフィルタ条件を抽出する機能を追加#38479。
- 集合演算子での述語派生機能を最適化し、フィルタ述語をより適切に生成#39450。
- 統計情報収集と使用の例外処理能力を最適化し、収集例外発生時の予期しない実行プラン生成を回避。#43009 #43776 #43865 #42104 #42399 #41729
クエリ実行エンジン
limitを含むクエリの実行を最適化し、より迅速に終了し、不要なデータスキャンを回避#44255。
ストレージ管理
- CCRが
rename table、rename column、modify comment、drop view、drop rollupなどのより包括的な操作をサポート。 - broker loadインポートの進行状況の精度と、複数の圧縮ファイルをインポートする際のパフォーマンスを向上。
- routine loadのタイムアウト戦略とスレッドプール使用を改善し、routine loadタイムアウト障害とクエリへの影響を防止。
その他
- Dockerクイックスタートイメージが、環境パラメータを設定せずに起動をサポート。BEプロセス内での
start_be.shスクリプトとswap、max_map_count、ulimit関連検証チェックをスキップする環境変数SKIP_CHECK_ULIMITを追加。これはDockerクイックスタートシナリオのアプリケーションにのみ適用されます。#45269 - カスタムグループフィルタリング用の新しいLDAP設定
ldap_group_filterを追加。#43292 - ranger使用時のパフォーマンスを最適化。#41207
- 監査ログの
scan bytesの不正確な統計を修正。#45167 COLUMNSシステムテーブルでカラムのデフォルト値が正しく表示されるようになりました。#44849VIEWSシステムテーブルでビューの定義が正しく表示されるようになりました。#45857adminユーザーが削除できなくなりました。#44751
バグ修正
レイクハウス
Hive
- Sparkによって作成されたHiveビューをクエリできない問題を修正。#43553
- 一部のHive Transactionテーブルを正しく読み取れない問題を修正。#45753
- Hiveテーブルパーティションに特殊文字が含まれている場合のパーティションプルーニングが正しくない問題を修正。#42906
Iceberg
- Kerberos認証環境でIcebergテーブルを作成できない問題を修正。#43445
- 一部のケースでIcebergテーブルにdangling deletesがある場合の
count(*)クエリが不正確な問題を修正。#44039 - 一部のケースでIcebergテーブルでのカラム名不一致によるクエリエラーの問題を修正。#44470
- 一部のケースでパーティションが変更されたIcebergテーブルを読み取れない問題を修正。#45367
Paimon
- Paimon カタログがAlibaba Cloud OSS-HDFSにアクセスできない問題を修正。#42585
Hudi
- 一部のケースでHudiテーブルのパーティションプルーニングが効果的でない問題を修正。#44669
JDBC
- 一部のケースで大文字小文字を区別しないテーブル名機能を有効にした後、JDBC カタログを使用してテーブルを取得できない問題を修正。
MaxCompute
- 一部のケースでMaxComputeテーブルのパーティションプルーニングが効果的でない問題を修正#44508。
その他
- 一部のケースでEXPORTタスクによるFEメモリリークの問題を修正。#44019
- 一部のケースでhttpsプロトコルを使用してS3オブジェクトストレージにアクセスできない問題を修正#44242。
- 一部のケースでKerberos認証チケットが自動リフレッシュされない問題を修正#44916
- 一部のケースでHadoop Block圧縮形式ファイル読み取り時のエラーの問題を修正。#45289
- ORC形式データのクエリ時に、結果エラーの可能性を回避するため、CHAR型述語のプッシュダウンを停止。#45484
非同期マテリアライズドビュー
- マテリアライズドビュー定義にCTEがある場合にリフレッシュできない問題を修正#44857。
- ベーステーブルにカラムが追加された場合に、非同期マテリアライズドビューが透過的リライトにヒットしない問題を修正。#44867
- クエリ内の異なる位置に同じフィルタ述語が含まれている場合に透過的リライトが失敗する問題を修正。#44575
- フィルタ述語や結合述語でカラムエイリアスが使用されている場合に透過的リライトが実行されない問題を修正。#44779
転置インデックス
- 転置インデックスcompactionの異常処理の問題を修正。#45773
- ロック待機タイムアウトによる転置インデックス構築失敗の問題を修正。#43589
- 異常状況での転置インデックス書き込みクラッシュの問題を修正。#46075
- 特殊パラメータでの
match関数のnullポインタ問題を修正。#45774 - variant転置インデックス関連の問題を修正し、variantでのインデックスv1形式の使用を無効化#43971 #45179
- ngram bloomfilterインデックスで
gram_size = 65535を設定した場合のクラッシュ問題を修正#43654 - bloomfilterインデックスでのDATEとDATETIMEの計算が正しくない問題を修正#43622
- カラム削除時にbloomfilterインデックスが自動削除されない問題を修正#44478
- bloomfilterインデックス書き込み時のメモリ使用量を削減#46047
半構造化データ
- メモリ使用量を最適化し、
variantデータ型のメモリ消費を削減#43349 #44585 #45734 variantスキーマコピーのパフォーマンスを最適化。#45731- タブレットキーを自動推論する際に
variantをキーとして使用しない。#44736 variantをNOT NULLからNULLに変更する問題を修正#45734- lambda関数の型推論が正しくない問題を修正。#45798
ipv6_cidr_to_range関数の境界条件でのcoredump問題を修正#46252
クエリオプティマイザ
- テーブル読み取りロックの相互排他による潜在的なデッドロック問題を修正し、ロック使用ロジックを最適化#45045 #43376 #44164 #44967 #45995。
- SQL Cache機能が定数畳み込みを誤って使用し、時刻形式を含む関数使用時に不正な結果が生じる問題を修正。#44631
- エッジケースでの比較式の最適化が正しくない問題を修正（不正な結果につながる可能性）。#44054 #44725 #44922 #45735 #45868
- 高並行ポイントクエリでの監査ログが正しくない問題を修正#43345#44588
- 高並行ポイントクエリで例外発生後の継続的エラー報告の問題を修正#44582
- 一部のフィールドでのプリペアドステートメントが正しくない問題を修正。#45732
クエリ実行エンジン
- 特殊文字での正規表現と
like関数の結果が正しくない問題を修正。#44547 - データベース切り替え時にSQL Cacheが不正な結果を返す可能性がある問題を修正。#44782
cut_ipv6関数の結果が正しくない問題を修正。#43921- 数値型からbool型へのキャストの問題を修正。#46275
- arrow flightに関連する一連の問題を修正。#45661 #45023 #43960 #43929
- hash joinのハッシュテーブルが4Gを超える場合の一部のケースでの結果が正しくない問題を修正。#46461
- 中国語文字での
convert_to関数のオーバーフロー問題を修正。#46505
ストレージ管理
- 高並行DDLによりFE起動失敗を引き起こす可能性がある問題を修正。
- 自動インクリメントカラムで重複値が発生する可能性がある問題を修正。
- 拡張時にroutine loadが新しく拡張されたBEを使用できない問題を修正。
権限管理
- Rangerを認証プラグインとして使用する際のRangerサービスへの頻繁アクセスの問題を修正#45645。
その他
- BE側で
enable_jvm_monitor=trueが有効化されている場合の潜在的なメモリリーク問題を修正#44311。
