リリース 2.1.1
コミュニティメンバーの皆様、Apache Doris 2.1.1が2024年4月3日に正式にリリースされました。2.1.0をベースとした複数の機能強化とバグ修正により、よりスムーズなユーザーエクスペリエンスを実現します。
-
クイックダウンロード: https://doris.apache.org/download/
動作変更
- float型のシリアライゼーション性能向上のため、float型の出力フォーマットを変更。
- システムテーブル値関数active_queries()、workload_groups()をシステムテーブルに変更。
- show query/load profile文を無効化。使用する開発者が少なく、pipelineとpipelinexエンジンがサポートしていないため。
- arrow flightのバージョンを15.0.2にアップグレードしてバグを修正。DorisへのアクセスにはADBC 15.0.2バージョンを使用してください。
アップグレード問題
- 2.0.xから2.1.xへのローリングアップグレード時にBEがコアダンプする問題
- 2.0.xから2.1.xへのローリングアップグレード時にJDBC カタログでクエリエラーが発生する問題。
新機能
- カラム認証をデフォルトで有効化。
- dockerまたはk8s内で実行時にpipelineとpipelinexエンジンの正しいコア数を取得。
- parquet int96型の読み取りをサポート。
- IP透過性をサポートするproxy protocolを有効化。このプロトコルを使用することで、ロードバランシングのIP透過性を実現でき、ロードバランシング後もDorisがクライアントの実際のIPを取得してホワイトリストなどの権限制御を実装可能。
- active_queriesシステムテーブルにworkload groupキュー関連カラムを追加。ユーザーはこのシステムでworkloadキューの使用状況を監視可能。
- 各BE上のリアルタイムクエリ統計を監視する新しいシステムテーブルbackend_active_tasksを追加。
- spark-dorisコネクタにipv4とipv6サポートを追加。
- CCRに転置インデックスサポートを追加。
- experimental session variableの選択をサポート。
- bitmap_union(bitmap_from_array())ケースでのマテリアライズドビューをサポート。
- HIVE_DEFAULT_PARTITIONのパーティションプルーニングをサポート。
- set variable文での関数をサポート。
- varint型のarrowシリアライゼーションをサポート。
最適化
- be再起動時やアップグレード中のroutine loadの自動再開とroutine loadの安定性維持。
- Routine Load: ロードバランスのためのbeアルゴリズムへのタスク割り当てを最適化。
- Spark Load: CVE問題解決のためspark loadのsparkバージョンを更新。
- タブレットが削除された場合のcooldownをスキップ。
- routine load管理でのworkload groupの使用をサポート。
- [MTMV] マテリアライズドビューによるクエリリライトの性能向上。
- BrokerLoadJobのプロファイルによるjvmヒープメモリ消費を削減。
- PartitionPrunnerの高速化により高QPSクエリを改善。
- スキーマキャッシュでのカラム名とカラムパスの重複メモリ消費を削減。
- マテリアライズドビューによるクエリリライトでINNER JOIN、LEFT OUTER JOIN、RIGHT OUTER JOIN、FULL OUTER JOIN、LEFT SEMI JOIN、RIGHT SEMI JOIN、LEFT ANTI JOIN、RIGHT ANTI JOINなどのより多くの結合タイプをサポート。
バグ修正
- 最初のorderkeyがnulls firstの場合、right/full outer joinを通じたtopn-filterのプッシュダウンを行わない。
- Java UDFのメモリリークを修正
- 一部のodbcテーブルが同じリソースを使用し、すべてのodbcテーブルを復元しない場合にリソースを保持しない問題とbackup/restoreの一部の設定チェックを修正
- variant型のfold constantでコアダンプする問題を修正。
- 一部のケースでトランザクション失敗時にroutine loadが一時停止する問題を修正。
- 右側が空のleft semi joinの結果はnullではなくfalseになるよう修正。
- データのない新しいカラムで転置インデックス構築時のコアダンプを修正。
- null-safe-equal joinによるbeコアダンプを修正。
- Partial update: シーケンスカラムを持つテーブルに削除サインデータをロードする際のデータ正確性リスクを修正。
- Select outfile: orc/parquetファイル形式でのカラム型マッピングを修正。
- 復元段階でのBEコアダンプを修正。
- count、sumなどの他のagg関数の後でarray_agg関数を使用するとbeがコアダンプする問題を修正。
- Variant型は常にnullableである必要があり、そうでないとバグが発生する問題を修正。
- スキーマ変更での空ブロック処理のバグを修正。
- 一部のケースでjson_length()使用時にBEがコアダンプする問題を修正。
- date cast述語を使用してicebergテーブルクエリ時のエラーを修正
- variant型の転置インデックス構築時のバグを修正。
- クエリ内の2つ以上のmap_agg関数の誤った結果を修正。
- money_format関数の誤った結果を修正。
- 接続数過多後の接続ハングを修正。
