リリース 2.1.1
コミュニティメンバーの皆様へ、Apache Doris 2.1.1 が2024年4月3日に正式にリリースされました。2.1.0をベースとした複数の機能強化とバグ修正により、よりスムーズなユーザーエクスペリエンスを提供します。
-
クイックダウンロード: https://doris.apache.org/download/
動作変更
- float型のシリアライゼーションパフォーマンスを向上させるため、float型の出力フォーマットを変更しました。
- システムテーブル値関数 active_queries()、workload_groups() をシステムテーブルに変更しました。
- show query/load profile文を無効化しました。これを使用する開発者が少なく、pipelineおよびpipelinexエンジンがサポートしていないためです。
- いくつかのバグを修正するためarrow flightのバージョンを15.0.2にアップグレードしました。DorisへのアクセスにはADBC 15.0.2バージョンをご使用ください。
アップグレード問題
- 2.0.xから2.1.xへのローリングアップグレード時にBEでコアダンプが発生する問題
- 2.0.xから2.1.xへのローリングアップグレード時にJDBC カタログでクエリエラーが発生する問題
新機能
- カラム認証をデフォルトで有効化しました。
- dockerまたはk8s内で実行時にpipelineおよびpipelinexエンジンの正しいコア数を取得できるようになりました。
- parquet int96型の読み取りをサポートしました。
- IP透過性をサポートするproxy protocolを有効化しました。このプロトコルを使用することで、ロードバランシングでのIP透過性を実現でき、ロードバランシング後でもDorisがクライアントの実際のIPを取得し、ホワイトリストなどの権限制御を実装できます。
- active_queriesシステムテーブルにworkload groupキュー関連カラムを追加しました。ユーザーはこのシステムを使用してworkloadキューの使用状況を監視できます。
- 各BEでのリアルタイムクエリ統計を監視する新しいシステムテーブル backend_active_tasks を追加しました。
- spark-doris connectorにipv4およびipv6サポートを追加しました。
- CCRに転置インデックスサポートを追加しました。
- 実験的セッション変数の選択をサポートしました。
- bitmap_union(bitmap_from_array())ケースでのマテリアライズドビューをサポートしました。
- HIVE_DEFAULT_PARTITIONのパーティション刈り込みをサポートしました。
- set variable文での関数をサポートしました。
- varint型のarrowシリアライゼーションをサポートしました。
最適化
- BE再起動時またはアップグレード中にroutine loadを自動再開し、routine loadを安定化しました。
- Routine Load: ロードバランスのためのbeアルゴリズムへのタスク割り当てを最適化しました。
- Spark Load: CVE問題を解決するためspark loadのsparkバージョンを更新しました。
- タブレットがドロップされた場合のクールダウンをスキップするようになりました。
- routine loadを管理するためのworkload group使用をサポートしました。
- [MTMV ]マテリアライズドビューによるクエリリライトのパフォーマンスを向上させました。
- BrokerLoadJobのプロファイルによるJVMヒープメモリ消費を削減しました。
- PartitionPrunnerを高速化して高QPSクエリを改善しました。
- スキーマキャッシュのカラム名とカラムパスの重複メモリ消費を削減しました。
- INNER JOIN、LEFT OUTER JOIN、RIGHT OUTER JOIN、FULL OUTER JOIN、LEFT SEMI JOIN、RIGHT SEMI JOIN、LEFT ANTI JOIN、RIGHT ANTI JOINなど、マテリアライズドビューによるクエリリライトでより多くの結合タイプをサポートしました。
バグ修正
- 最初のorderkeyがnulls firstの場合、right/full outer joinを通してtopn-filterをプッシュダウンしないようにしました。
- Java UDFのメモリリークを修正しました。
- 一部のodbcテーブルが同じリソースを使用し、すべてのodbcテーブルをリストアしない場合、リソースが保持されない問題を修正し、backup/restoreの設定確認を追加しました。
- variant型でのFold constantによるコアダンプを修正しました。
- 一部のケースでトランザクションが失敗した際にroutine loadが停止する問題を修正しました。
- 右側が空のleft semi joinの結果はnullではなくfalseになるべきであることを修正しました。
- データのない新しいカラムで転置インデックスを構築する際のコアダンプを修正しました。
- null-safe-equal joinによるBEコアダンプを修正しました。
- Partial update: sequence colを持つテーブルにdelete signデータをロードする際のデータ正確性リスクを修正しました。
- Select outfile: orc/parquetファイル形式でのカラム型マッピングを修正しました。
- リストア段階でのBEコアダンプを修正しました。
- count、sumなど他の集約関数の後にarray_agg関数を使用するとBEコアダンプが発生する問題を修正しました。
- Variant型は常にnullableであるべきで、そうでないとバグが発生することを修正しました。
- スキーマ変更での空ブロック処理のバグを修正しました。
- 一部のケースでjson_length()使用時にBEがコアダンプする問題を修正しました。
- date cast predicateを使用してicebergテーブルをクエリする際のエラーを修正しました。
- variant型で転置インデックスを構築する際のいくつかのバグを修正しました。
- クエリで2つ以上のmap_agg関数使用時の間違った結果を修正しました。
- money_format関数の間違った結果を修正しました。
- 接続数過多後の接続ハングアップを修正しました。
