動作変更
show frontendsとshow backendsの権限要件を対応するRESTful APIと整合させ、information_schemaデータベースでのSELECT_PRIV権限を要求するよう調整- 指定ドメインを持つAdminユーザーとrootユーザーは、システムユーザーと見なされなくなりました
- Storage: データベースあたりのデフォルト同時トランザクション数を10000に調整
新機能
Query Optimizer
- MySQLの集約ロールアップ構文
GROUP BY ... WITH ROLLUPをサポート
Query Execution
Likeステートメントでescape構文をサポート
半構造化データ管理
- セッション変数
enable_add_index_for_new_data=trueを設定することで、新しいデータのみに対するトークン化されていない転置インデックスとngramブルームフィルターインデックスの構築をサポート
新しい関数
データ取り込み
SHOW CREATE LOADのエラーメッセージプロンプトを最適化
Primary Key Model
- セグメントキー境界の切り捨て機能を追加し、単一の大きなインポート失敗を回避
Storage
- compactionとインポートデータの信頼性を向上
- balanceの速度を最適化
- テーブル作成速度を最適化
- compactionのデフォルトパラメータと可観測性を最適化
- クエリエラー-230の問題を最適化
- システムテーブル
backend_tabletsを追加
- クラウドモードでのフォロワーノードからの
information_schema.tablesクエリのパフォーマンスを最適化
Storage-Compute Decoupled
- Meta-service recyclerの可観測性を向上
- インポートcompaction中のコンピュートグループ間増分プリヒートをサポート
- Storage vaultの接続性チェックを最適化
- MS API経由でのストレージバックエンド情報の更新をサポート
レイクハウス
- x86環境でのORC zlib解凍パフォーマンスを最適化し、潜在的な問題を修正
- 外部テーブル読み取りのデフォルト同時スレッド数を最適化
- DDL操作をサポートしないカタログのエラーメッセージを最適化
非同期マテリアライズドビュー
- 透過的リライトプランニングのパフォーマンスを最適化
Query Optimizer
group_concat関数で非文字列型のパラメータを許可sumとavg関数で非数値型のパラメータを許可- TOP-Nクエリでの遅延マテリアライゼーションのサポート範囲を拡張し、部分列クエリ時の遅延マテリアライゼーションを有効化
- パーティション作成時に、リストパーティションで
MAX_VALUEの含有を許可
- 集約モデルテーブルのサンプリングと統計情報収集のパフォーマンスを最適化
- サンプリングと統計情報収集時のNDV値の精度を最適化
Inverted Index
show create tableでの転置インデックスに表示されるプロパティの順序を統一- 転置インデックスフィルタ条件の条件別プロファイルメトリクス（ヒット行数や実行時間など）を追加し、パフォーマンス分析を促進
- プロファイルでの転置インデックス関連情報の表示を向上
- Rangerでstorage vaultとcompute groupの権限設定をサポート
バグ修正
データ取り込み
- 複数文字セパレータを持つCSVファイルのインポート時に発生する可能性のある正確性の問題を修正
- タスクプロパティ変更後の
ROUTINE LOADタスク表示結果が正しくない問題を修正
- プライマリノードの再起動またはLeader切り替え後にone-stream multi-tableインポートプランが無効になる問題を修正
ROUTINE LOADタスクが利用可能なBEノードを見つけられないためにすべてのスケジューリングタスクがブロックされる問題を修正runningTxnIdsの同時読み書き競合問題を修正
Primary Key Model
- 高頻度同時インポート下でのmowテーブルのインポートパフォーマンスを最適化
- mowテーブルのfull compactionが削除データの領域を解放
- 極端なシナリオでのmowテーブルの潜在的インポート失敗問題を修正
- mowテーブルのcompactionパフォーマンスを最適化
- 同時インポートとスキーマ変更中のmowテーブルの潜在的正確性問題を修正
- 空のmowテーブルでのスキーマ変更がインポート停止やスキーマ変更失敗を引き起こす可能性のある問題を修正
- mow delete bitmapキャッシュのメモリリーク問題を修正
- スキーマ変更後のmowテーブルの潜在的正確性問題を修正
Storage
- compactionによるクローンプロセスでのrowset欠落問題を修正
- autobucketのサイズ計算とデフォルト値の不正確さを修正
- バケット列による潜在的正確性問題を修正
- 単一列テーブルの名前変更ができない問題を修正
- memtableの潜在的メモリリーク問題を修正
- 空テーブルトランザクション書き込みでのサポートされていない操作に対する一貫性のないエラー報告問題を修正
Storage-Compute Decoupled
- File cacheに関する複数の修正
- スキーマプロセス中にcumulative pointがロールバックする可能性のある問題を修正
- バックグラウンドタスクが自動再起動に影響する問題を修正
- azure環境でのデータリサイクルプロセスでの未処理例外問題を修正
- 単一rowsetのcompaction時にfile cacheが適時にクリーンアップされない問題を修正
レイクハウス
- Kerberos環境でのIcebergテーブル書き込みのトランザクションコミット失敗問題を修正
- kerberos環境でのhudiのクエリ問題を修正
- マルチカタログシナリオでの潜在的デッドロック問題を修正
- 一部のケースでの同時カタログリフレッシュによるメタデータ不整合問題を修正
- 一部のケースでORCフッターが複数回読み取られる問題を修正
- table Valued Functionが圧縮jsonファイルを読み取れない問題を修正
- SQL サーバー カタログでIDENTITY列情報の識別をサポート
- SQL Convertorで高可用性のための複数URL指定をサポート
非同期マテリアライズドビュー
- クエリが空の結果セットに最適化された際にパーティション補償が正しく実行されない可能性のある問題を修正
Query Optimizer
sql_select_limit以外の要因がDML実行結果に影響する問題を修正- local shuffle開始時にマテリアライズドCTEが極端なケースでエラーを報告する可能性のある問題を修正
- 非マスターノードでprepared insertステートメントが実行できない問題を修正
ipv4を文字列にキャストする際の結果エラー問題を修正
- ユーザーが複数のロールを持つ場合、複数ロールの権限を認可前にマージ
Query Execution
- 一部のjson関数の問題を修正
- 非同期スレッドプールが満杯時の潜在的BE Core問題を修正
hll_to_base64の正しくない結果問題を修正decimal256をfloatにキャストする際の結果エラー問題を修正- 2つのメモリリーク問題を修正
bitmap_from_base64によるbe core問題を修正array_map関数による潜在的be core問題を修正split_by_regexp関数の潜在的エラー問題を修正- 極めて大きなデータ量下での
bitmap_union関数の潜在的結果エラー問題を修正
- 一部の境界値での
format round関数の潜在的core問題を修正
Inverted Index
- 異常状況での転置インデックスのメモリリーク問題を修正
- 空のインデックスファイルの書き込みとクエリ時のエラー報告問題を修正
- 転置インデックス文字列読み取りでIO例外をキャッチし、例外によるプロセスクラッシュを回避
複合データ型
- Variant Nestedデータ型競合時の潜在的型推論エラーを修正
map関数のパラメータ型推論エラーを修正- jsonpathでパスとして
'$.'を指定した際にデータが誤ってNULLに変換される問題を修正
- Variantのサブフィールドに
.が含まれる場合にシリアル化形式が復元できない問題を修正
その他
- auditlogテーブルのIPフィールドの長さ不足問題を修正
- SQL解析失敗時に監査ログに記録されるクエリIDが前のクエリのものになる問題を修正
