リリース 2.1.1
コミュニティメンバーの皆様、Apache Doris 2.1.1が2024年4月3日に正式リリースされました。2.1.0をベースとした複数の機能強化とバグ修正により、よりスムーズなユーザー体験を実現します。
-
クイックダウンロード: https://doris.apache.org/download/
動作変更
- float型のシリアライゼーションパフォーマンスを向上させるため、float型出力フォーマットを変更。
- システムテーブル値関数active_queries()、workload_groups()をシステムテーブルに変更。
- show query/load profile stmtを無効化。使用する開発者が少なく、pipelineおよびpipelinexエンジンがサポートしていないため。
- arrow flightバージョンを15.0.2にアップグレードしていくつかのバグを修正。Dorisにアクセスする際はADBC 15.0.2バージョンを使用してください。
アップグレード問題
- 2.0.xから2.1.xへのローリングアップグレード時にBEがクラッシュする問題
- 2.0.xから2.1.xへのローリングアップグレード時にJDBC カタログでクエリエラーが発生する問題。
新機能
- カラム認証をデフォルトで有効化。
- dockerまたはk8s内で実行時にpipelineおよびpipelinexエンジンの正確なコア数を取得。
- parquet int96型の読み取りをサポート。
- IP透過性をサポートするproxy protocolを有効化。このプロトコルを使用することで、ロードバランシングのIP透過性を実現でき、ロードバランシング後もDorisがクライアントの実際のIPを取得してホワイトリストなどの権限制御を実装できます。
- active_queriesシステムテーブルにworkload groupキュー関連のカラムを追加。ユーザーはこのシステムを使用してworkloadキューの使用状況を監視できます。
- 各BE上のリアルタイムクエリ統計を監視する新しいシステムテーブルbackend_active_tasksを追加。
- spark-doris connectorにipv4およびipv6サポートを追加。
- CCRに転置インデックスサポートを追加。
- 実験的セッション変数のselectをサポート。
- bitmap_union(bitmap_from_array())ケースでのマテリアライズドビューをサポート。
- HIVE_DEFAULT_PARTITIONのパーティションプルーニングをサポート。
- set variable文での関数をサポート。
- varint型のarrowシリアライゼーションをサポート。
最適化
- be再起動時またはアップグレード中のroutine load自動再開機能とroutine loadの安定性維持。
- Routine Load: ロードバランシングのためのbeアルゴリズムへのタスク割り当てを最適化。
- Spark Load: CVE問題を解決するためspark loadのsparkバージョンを更新。
- タブレットが削除された場合のクールダウンをスキップ。
- routine loadの管理にworkload groupの使用をサポート。
- [MTMV ]マテリアライズドビューによるクエリリライトのパフォーマンスを改善。
- BrokerLoadJobのプロファイルによるJVMヒープメモリ消費を削減。
- PartitionPrunnerの高速化により高QPSクエリを改善。
- スキーマキャッシュのカラム名およびカラムパスの重複メモリ消費を削減。
- INNER JOIN、LEFT OUTER JOIN、RIGHT OUTER JOIN、FULL OUTER JOIN、LEFT SEMI JOIN、RIGHT SEMI JOIN、LEFT ANTI JOIN、RIGHT ANTI JOINなど、マテリアライズドビューによるクエリリライトでより多くのjoin型をサポート
バグ修正
- 最初のorderkeyがnulls firstの場合、right/full outer joinを通じたtopn-filterのプッシュダウンを実行しないように修正。
- Java UDFでのメモリリークを修正
- 一部のodbcテーブルが同じリソースを使用し、すべてのodbcテーブルを復元しない場合、リソースが保持されない問題を修正。backup/restore用の設定チェックを追加
- variant型での定数フォールドによるクラッシュを修正。
- 一部のケースでトランザクション失敗時にroutine loadが一時停止する問題を修正。
- 右側が空のleft semi joinの結果はnullではなくfalseであるべき問題を修正。
- データのない新しいカラムに転置インデックスを構築する際のクラッシュを修正。
- null-safe-equal joinによるbeクラッシュを修正。
- Partial update: sequence colを持つテーブルにdelete signデータをロードする際のデータ正確性リスクを修正。
- Select outfile: orc/parquetファイル形式でのカラム型マッピングを修正。
- restore段階でのBEクラッシュを修正。
- count、sumなどの他のagg func後にarray_agg funcを使用するとbeがクラッシュする問題を修正。
- Variant型は常にnullableであるべき、そうでないといくつかのバグが発生する問題を修正。
- スキーマ変更での空ブロック処理のバグを修正。
- 一部のケースでjson_length()使用時にBEがクラッシュするバグを修正。
- date cast述語を使用したicebergテーブルクエリ時のエラーを修正
- variant型の転置インデックス構築時のいくつかのバグを修正。
- クエリ内の2つ以上のmap_agg関数の誤った結果を修正。
- money_format関数の誤った結果を修正。
- 接続数過多後の接続ハングを修正。
