リリース 3.0.7

動作変更

• show frontends と show backends の権限要件を対応するRESTful APIに合わせて調整し、information_schema データベースに対する SELECT_PRIV 権限を要求するように変更
• 指定されたドメインを持つ管理者およびrootユーザーはシステムユーザーとして扱われなくなりました
• Storage: データベースあたりの同時トランザクション数のデフォルト値を10000に調整

新機能

Query Optimizer

• MySQLの集約ロールアップ構文 GROUP BY ... WITH ROLLUP をサポート

Query Execution

• Like ステートメントで escape 構文をサポート

半構造化データ管理

• セッション変数 enable_add_index_for_new_data=true を設定することで、新しいデータのみに対してトークン化されていない転置インデックスとngram bloomfilterインデックスの構築をサポート

新機能

• データ関数を追加: cot/sec/cosec

改善

データ取り込み

• SHOW CREATE LOAD のエラーメッセージプロンプトを最適化

Primary Key Model

• 単一の大規模インポート失敗を回避するために、セグメントキー境界の切り捨て機能を追加

Storage

• コンパクションとインポートデータの信頼性を向上
• バランス速度を最適化
• テーブル作成速度を最適化
• コンパクションのデフォルトパラメータと可観測性を最適化
• クエリエラー-230の問題を最適化
• システムテーブル backend_tablets を追加
• クラウドモードでフォロワーノードから information_schema.tables をクエリする際のパフォーマンスを最適化

Storage-Compute Decoupled

• Meta-service recyclerの可観測性を向上
• インポートコンパクション時のコンピュートグループ間増分プリヒーティングをサポート
• Storage vault接続性チェックを最適化
• MS API経由でのストレージバックエンド情報の更新をサポート

レイクハウス

• x86環境でのORC zlib解凍パフォーマンスを最適化し、潜在的な問題を修正
• 外部テーブル読み取りの同時スレッド数のデフォルト値を最適化
• DDL操作をサポートしないCatalogsのエラーメッセージを最適化

非同期マテリアライズドビュー

• 透過的リライティングプランニングのパフォーマンスを最適化

Query Optimizer

• group_concat 関数で文字列型以外のパラメータを許可
• sum および avg 関数で数値型以外のパラメータを許可
• TOP-Nクエリでの遅延マテリアライゼーションのサポート範囲を拡張し、部分列をクエリする際の遅延マテリアライゼーションを有効化
• パーティション作成時に、リストパーティションで MAX_VALUE の含有を許可
• 集約モデルテーブルのサンプリングと統計情報収集のパフォーマンスを最適化
• サンプリングと統計情報収集時のNDV値の精度を最適化

転置インデックス

• show create table で転置インデックスに表示されるプロパティの順序を統一
• パフォーマンス分析を促進するために、転置インデックスフィルタ条件の条件ごとプロファイルメトリクス（ヒット行数や実行時間など）を追加
• プロファイルでの転置インデックス関連情報の表示を改善

権限

• Rangerでstorage vaultおよびcompute groupの権限設定をサポート

バグ修正

データ取り込み

• 複数文字セパレータを持つCSVファイルのインポート時に発生する可能性がある正確性の問題を修正
• タスクプロパティ変更後の ROUTINE LOAD タスク表示結果が不正確な問題を修正
• プライマリノード再起動またはLeaderスイッチ後にワンストリーム複数テーブルインポートプランが無効になる問題を修正
• ROUTINE LOAD タスクが利用可能なBEノードを見つけられないために全スケジューリングタスクがブロックされる問題を修正
• runningTxnIds の同時読み書き競合問題を修正

Primary Key Model

• 高頻度同時インポート下でのmowテーブルのインポートパフォーマンスを最適化
• mowテーブルのフルコンパクションが削除データのスペースを解放
• 極端なシナリオでのmowテーブルの潜在的インポート失敗問題を修正
• mowテーブルのコンパクションパフォーマンスを最適化
• mowテーブルの同時インポートとスキーマ変更時の潜在的正確性問題を修正
• 空のmowテーブルでのスキーマ変更がインポートのスタックやスキーマ変更失敗を引き起こす可能性がある問題を修正
• mow delete bitmap cacheのメモリリーク問題を修正
• スキーマ変更後のmowテーブルの潜在的正確性問題を修正

Storage

• コンパクションによるクローンプロセスでのrowset欠損問題を修正
• autobucketのサイズ計算の不正確性とデフォルト値の問題を修正
• バケット列による潜在的正確性問題を修正
• 単一列テーブルの名前変更ができない問題を修正
• memtableの潜在的メモリリーク問題を修正
• 空テーブルトランザクション書き込みでサポートされていない操作に対するエラー報告の不整合問題を修正

Storage-Compute Decoupled

• File cacheに関する複数の修正
• スキーマプロセス中にcumulative pointがロールバックする可能性がある問題を修正
• バックグラウンドタスクが自動再起動に影響する問題を修正
• azure環境でのデータリサイクリングプロセスでの未処理例外問題を修正
• 単一rowsetコンパクト時にfile cacheがタイムリーにクリーンアップされない問題を修正

レイクハウス

• Kerberos環境でのIcebergテーブル書き込みでのトランザクションコミット失敗問題を修正
• kerberos環境でのhudiのクエリ問題を修正
• マルチカタログシナリオでの潜在的デッドロック問題を修正
• 一部のケースでの同時カタログリフレッシュによるメタデータ不整合問題を修正
• 一部のケースでORCフッターが複数回読み取られる問題を修正
• table Valued Functionで圧縮されたjsonファイルを読み取れない問題を修正
• SQL サーバー カタログでIDENTITY列情報の識別をサポート
• SQL Convertorで高可用性のための複数URL指定をサポート

非同期マテリアライズドビュー

• クエリが空の結果セットに最適化された際にパーティション補償が誤って実行される可能性がある問題を修正

Query Optimizer

• sql_select_limit 以外の要因がDML実行結果に影響する問題を修正
• local shuffleを開始する際にマテリアライズされたCTEが極端なケースでエラーを報告する可能性がある問題を修正
• 準備済みinsertステートメントがマスター以外のノードで実行できない問題を修正
• ipv4 を文字列にキャストする際の結果エラー問題を修正

権限

• ユーザーが複数のロールを持つ場合、認可前に複数ロールの権限がマージされる

Query Execution

• 一部のjson関数の問題を修正
• 非同期スレッドプールが満杯の際の潜在的BE Core問題を修正
• hll_to_base64 の不正確な結果問題を修正
• decimal256 をfloatにキャストする際の結果エラー問題を修正
• 2つのメモリリーク問題を修正
• bitmap_from_base64 によるbe core問題を修正
• array_map 関数による潜在的be core問題を修正
• split_by_regexp 関数の潜在的エラー問題を修正
• 極大データボリューム下での bitmap_union 関数の潜在的結果エラー問題を修正
• 一部の境界値での format round 関数の潜在的core問題を修正

転置インデックス

• 異常状況での転置インデックスのメモリリーク問題を修正
• 空のインデックスファイルの書き込みとクエリ時のエラー報告問題を修正
• 転置インデックス文字列読み取りでのIO例外をキャッチし、例外によるプロセスクラッシュを回避

複合データ型

• Variant Nestedデータ型競合時の潜在的型推論エラーを修正
• map 関数のパラメータ型推論エラーを修正
• jsonpathでパスとして '$.' を指定した際にデータが誤ってNULLに変換される問題を修正
• Variantのサブフィールドに . が含まれる際にシリアライゼーション形式が復元できない問題を修正

その他

• auditlogテーブルのIPフィールドの長さ不足問題を修正
• SQL解析失敗時にaudit logに記録されるクエリidが前回のクエリのものになる問題を修正