動作の変更
show frontendsとshow backendsの権限要件を対応するRESTful APIに合わせて調整し、information_schemaデータベースでSELECT_PRIV権限を要求するようになりました- 指定されたドメインを持つAdminおよびrootユーザーはシステムユーザーとして扱われなくなりました
- Storage: データベースあたりの同時トランザクションのデフォルト数を10000に調整しました
新機能
Query Optimizer
- MySQLの集約ロールアップ構文
GROUP BY ... WITH ROLLUPをサポートしました
Query Execution
半構造化データ管理
- セッション変数
enable_add_index_for_new_data=trueを設定することで、新しいデータのみに対して非トークン化転置インデックスとngram bloomfilterインデックスの構築をサポートしました
新しい関数
- データ関数を追加しました：
cot/sec/cosec
データ取り込み
SHOW CREATE LOADのエラーメッセージプロンプトを最適化しました
Primary Key Model
- 単一の大きなインポート失敗を回避するためのセグメントキー境界切り詰め機能を追加しました
Storage
- compactionとインポートされたデータの信頼性を向上させました
- バランス速度を最適化しました
- テーブル作成速度を最適化しました
- compactionのデフォルトパラメータと可観測性を最適化しました
- クエリエラー-230の問題を最適化しました
- システムテーブル
backend_tabletsを追加しました
- クラウドモードでのフォロワーノードからの
information_schema.tablesクエリのパフォーマンスを最適化しました
Storage-Compute Decoupled
- Meta-service recyclerの可観測性を向上させました
- インポートcompaction時のコンピュートグループ間増分事前ヒーティングをサポートしました
- Storage vault接続性チェックを最適化しました
- MS API経由でのストレージバックエンド情報の更新をサポートしました
レイクハウス
- x86環境でのORC zlib解凍パフォーマンスを最適化し、潜在的な問題を修正しました
- 外部テーブル読み取りの同時スレッド数のデフォルト値を最適化しました
- DDL操作をサポートしないカタログのエラーメッセージを最適化しました
非同期マテリアライズドビュー
- 透過的リライトプランニングのパフォーマンスを最適化しました
Query Optimizer
group_concat関数で非文字列型のパラメータを許可するようになりましたsumとavg関数で非数値型のパラメータを許可しました- TOP-Nクエリでの遅延マテリアライゼーションのサポート範囲を拡張し、部分列クエリ時の遅延マテリアライゼーションを可能にしました
- パーティション作成時、リストパーティションで
MAX_VALUEの含有を許可しました
- 集約モデルテーブルのサンプリングと統計情報収集のパフォーマンスを最適化しました
- サンプリングと統計情報収集時のNDV値の精度を最適化しました
転置インデックス
show create tableでの転置インデックスに表示されるプロパティの順序を統一しました- パフォーマンス分析を容易にするため、転置インデックスフィルタ条件の条件別プロファイルメトリクス（ヒット行数、実行時間など）を追加しました
- プロファイルでの転置インデックス関連情報の表示を強化しました
- Rangerでstorage vaultとcompute groupの権限設定をサポートしました
バグ修正
データ取り込み
- 複数文字セパレータを含むCSVファイルをインポートする際に発生する可能性がある正確性の問題を修正しました
- タスクプロパティ変更後の
ROUTINE LOADタスク表示結果が不正になる問題を修正しました
- プライマリノード再起動またはLeaderスイッチ後にワンストリーム複数テーブルインポートプランが無効になる問題を修正しました
ROUTINE LOADタスクが利用可能なBEノードを見つけられないために全スケジューリングタスクがブロックされる問題を修正しましたrunningTxnIdsの並行読み書き競合問題を修正しました
Primary Key Model
- 高頻度同時インポート下でのmowテーブルのインポートパフォーマンスを最適化しました
- mowテーブルの完全compactionで削除データのスペースを解放するようにしました
- 極端なシナリオでのmowテーブルの潜在的インポート失敗問題を修正しました
- mowテーブルのcompactionパフォーマンスを最適化しました
- 同時インポートとスキーマ変更時のmowテーブルの潜在的正確性問題を修正しました
- 空のmowテーブルでのスキーマ変更がインポートスタックまたはスキーマ変更失敗を引き起こす可能性がある問題を修正しました
- mow delete bitmap cacheのメモリリーク問題を修正しました
- スキーマ変更後のmowテーブルの潜在的正確性問題を修正しました
Storage
- compactionによるクローンプロセスでのrowset欠落問題を修正しました
- autobucketの不正確なサイズ計算とデフォルト値の問題を修正しました
- バケット列による潜在的正確性問題を修正しました
- 単一列テーブルの名前変更ができない問題を修正しました
- memtableの潜在的メモリリーク問題を修正しました
- 空テーブルトランザクション書き込みでサポートされていない操作に対する一貫性のないエラー報告問題を修正しました
Storage-Compute Decoupled
- File cacheに関するいくつかの修正を行いました
- スキーマプロセス中にcumulative pointがロールバックする可能性がある問題を修正しました
- バックグラウンドタスクが自動再起動に影響する問題を修正しました
- Azure環境でのデータリサイクリングプロセスの未処理例外問題を修正しました
- 単一rowsetをcompactする際にfile cacheが適時にクリーンアップされない問題を修正しました
レイクハウス
- Kerberos環境でのIcebergテーブル書き込みのトランザクションコミット失敗問題を修正しました
- Kerberos環境でのhudiのクエリ問題を修正しました
- マルチカタログシナリオでの潜在的デッドロック問題を修正しました
- 一部のケースで同時カタログリフレッシュによって引き起こされるメタデータ不整合問題を修正しました
- 一部のケースでORCフッターが複数回読み取られる問題を修正しました
- table Valued Functionで圧縮されたjsonファイルを読み取れない問題を修正しました
- SQL サーバー カタログでIDENTITY列情報の識別をサポートしました
- SQL ConvertorでHAのための複数URL指定をサポートしました
非同期マテリアライズドビュー
- クエリが空の結果セットに最適化された場合にパーティション補償が誤って実行される可能性がある問題を修正しました
Query Optimizer
sql_select_limit以外の要因がDML実行結果に影響する問題を修正しました- local shuffleを開始する際に極端なケースでマテリアライズドCTEがエラーを報告する可能性がある問題を修正しました
- prepared insert文がマスター以外のノードで実行できない問題を修正しました
ipv4を文字列にキャストする際の結果エラー問題を修正しました
- ユーザーが複数の役割を持つ場合、認証前に複数の役割の権限がマージされるようになりました
Query Execution
- 一部のjson関数の問題を修正しました
- 非同期スレッドプールが満杯の際の潜在的BE Core問題を修正しました
hll_to_base64の不正な結果問題を修正しましたdecimal256をfloatにキャストする際の結果エラー問題を修正しました- 2つのメモリリーク問題を修正しました
bitmap_from_base64によって引き起こされるBE Core問題を修正しましたarray_map関数によって引き起こされる潜在的BE Core問題を修正しましたsplit_by_regexp関数の潜在的エラー問題を修正しました- 極めて大きなデータ量での
bitmap_union関数の潜在的結果エラー問題を修正しました
- 一部の境界値での
format round関数の潜在的Core問題を修正しました
転置インデックス
- 異常状況での転置インデックスのメモリリーク問題を修正しました
- 空のインデックスファイルの書き込みとクエリ時のエラー報告問題を修正しました
- 転置インデックス文字列読み取りでIOエラーをキャッチし、例外によるプロセスクラッシュを回避するようにしました
複雑データ型
- Variant Nestedデータ型が競合する際の潜在的型推論エラーを修正しました
map関数のパラメータ型推論エラーを修正しました- jsonpathでパスとして
'$.'を指定した際にデータが誤ってNULLに変換される問題を修正しました
- Variantのサブフィールドに
.が含まれる場合にシリアル化フォーマットが復元できない問題を修正しました
その他
- auditlogテーブルのIPフィールドの長さ不足問題を修正しました
- SQL解析に失敗した際に監査ログに記録されるクエリIDが前のクエリのものになる問題を修正しました
