リリース 2.1.1
コミュニティメンバーの皆様、Apache Doris 2.1.1が2024年4月3日に正式にリリースされました。2.1.0をベースにいくつかの機能強化とバグ修正が行われ、よりスムーズなユーザーエクスペリエンスを提供します。
-
クイックダウンロード: https://doris.apache.org/download/
動作変更
- float型のシリアライゼーション性能を向上させるためにfloat型の出力フォーマットを変更。
- システムテーブル値関数active_queries()、workload_groups()をシステムテーブルに変更。
- show query/load profile文を無効化。使用する開発者が少なく、pipelineおよびpipelinexエンジンがサポートしていないため。
- いくつかのバグを修正するためにarrow flightバージョンを15.0.2にアップグレード。DorisへのアクセスにはADBC 15.0.2バージョンを使用してください。
アップグレードの問題
- 2.0.xから2.1.xへのローリングアップグレード時にBEがcoreする問題
- 2.0.xから2.1.xへのローリングアップグレード時にJDBC カタログでクエリエラーが発生する問題。
新機能
- カラム認証をデフォルトで有効化。
- dockerまたはk8s内で実行時にpipelineおよびpipelinexエンジンの正しいコア数を取得。
- parquet int96型の読み取りをサポート。
- IP透過性をサポートするproxy protocolを有効化。このプロトコルを使用することで、ロードバランシングのIP透過性を実現でき、ロードバランシング後もDorisがクライアントの実際のIPを取得してホワイトリストなどの権限制御を実装可能。
- active_queriesシステムテーブルにworkload groupキュー関連カラムを追加。ユーザーはこのシステムを使用してworkloadキューの使用状況を監視可能。
- 各BE上のリアルタイムクエリ統計を監視するための新しいシステムテーブルbackend_active_tasksを追加。
- spark-doris connectorにipv4およびipv6サポートを追加。
- CCRに転置インデックスサポートを追加。
- 実験的セッション変数の選択をサポート。
- bitmap_union(bitmap_from_array())ケースでのマテリアライズドビューをサポート。
- HIVE_DEFAULT_PARTITIONのパーティションプルーニングをサポート。
- set variable文での関数をサポート。
- varint型のarrowシリアライゼーションをサポート。
最適化
- be再起動時またはアップグレード中のroutine loadの自動再開。routine loadの安定性を維持。
- Routine Load: ロードバランシングのためのbeアルゴリズムへのタスク割り当てを最適化。
- Spark Load: CVE問題を解決するためにspark loadのsparkバージョンを更新。
- タブレットが削除されている場合はクールダウンをスキップ。
- routine loadの管理にworkload groupの使用をサポート。
- [MTMV ]マテリアライズドビューによるクエリリライティングの性能を改善。
- BrokerLoadJobのprofilesによるJVMヒープメモリ消費を削減。
- PartitionPrunnerの高速化により高QPSクエリを改善。
- スキーマキャッシュのカラム名とカラムパスの重複メモリ消費を削減。
- マテリアライズドビューによるクエリリライティングで、INNER JOIN、LEFT OUTER JOIN、RIGHT OUTER JOIN、FULL OUTER JOIN、LEFT SEMI JOIN、RIGHT SEMI JOIN、LEFT ANTI JOIN、RIGHT ANTI JOINなどより多くのjoin型をサポート。
バグ修正
- 最初のorderkeyがnulls firstの場合、right/full outer joinを通してtopn-filterをプッシュダウンしないように修正。
- Java UDFのメモリリークを修正
- 一部のodbcテーブルが同じリソースを使用し、すべてのodbcテーブルがrestoreされない場合にリソースが保持されない問題を修正。backup/restoreの一部設定をチェック
- variant型でfold constantがcoreする問題を修正。
- 一部のケースでトランザクションが失敗した際にroutine loadが停止する問題を修正。
- 右側が空のleft semi joinの結果はnullではなくfalseになるべき。
- データのない新しいカラムで転置インデックスを構築する際のcoreを修正。
- null-safe-equal joinによるbe coreを修正。
- Partial update: sequence colを持つテーブルにdelete signデータをロードする際のデータ正確性リスクを修正。
- Select outfile: orc/parquetファイル形式でのカラム型マッピングを修正。
- restore段階でのBE coreを修正。
- count、sumなどの他のagg関数の後にarray_agg関数を使用するとbe coreする問題を修正。
- Variant型は常にnullableであるべき。そうでないとバグが発生。
- スキーマ変更での空ブロック処理のバグを修正。
- 一部のケースでjson_length()使用時にBEがcoreする問題を修正。
- date cast述語を使用してicebergテーブルをクエリする際のエラーを修正
- variant型の転置インデックス構築時の一部のバグを修正。
- クエリ内の2つ以上のmap_agg関数の間違った結果を修正。
- money_format関数の間違った結果を修正。
- 接続数過多後の接続ハングを修正。
