改善
JDBC カタログ
- JDBC カタログを通じたDorisクラスターへの接続をサポート。
現在、Jdbc カタログは5.xバージョンのJDBC jarパッケージを使用して別のDorisデータベースに接続することのみサポートしています。8.xバージョンのJDBC jarパッケージを使用する場合、カラムのデータ型が一致しない可能性があります。
参考: https://doris.apache.org/docs/dev/lakehouse/multi-catalog/jdbc/#doris
-
only_specified_database属性を通じて、指定されたデータベースのみの同期をサポート。 -
lower_case_table_namesを通じて小文字形式でのテーブル名の同期をサポートし、テーブル名の大文字小文字の区別の問題を解決。
参考: https://doris.apache.org/docs/dev/lakehouse/multi-catalog/jdbc
- JDBC カタログの読み取りパフォーマンスを最適化。
Elasticsearch カタログ
-
Array型マッピングをサポート。
-
like_push_down属性を通じてlike式のプッシュダウンの有無をサポートし、ESクラスターのCPUオーバーヘッドを制御。
参考: https://doris.apache.org/docs/dev/lakehouse/multi-catalog/es
Hive カタログ
-
Hiveテーブルのデフォルトパーティション
_HIVE_DEFAULT_PARTITION_をサポート。 -
Hive Metastoreメタデータ自動同期で圧縮形式の通知イベントをサポート。
Dynamic パーティション改善
- Dynamic partitionで
storage_mediumパラメータの指定をサポートし、新しく追加されるパーティションのストレージメディアを制御。
参考: https://doris.apache.org/docs/dev/advanced/partition/dynamic-partition
BEのThreadingモデルの最適化
- BEのThreadingモデルを最適化し、頻繁なスレッドの作成と破棄によって引き起こされる安定性の問題を回避。
バグ修正
-
Merge-On-Write Unique Keyテーブルの問題を修正。
-
compaction関連の問題を修正。
-
データエラーを引き起こすdelete文の問題を修正。
-
複数のクエリ実行エラーを修正。
-
一部のオペレーティングシステムでJDBC catalogの使用がBEクラッシュを引き起こす問題を修正。
-
Multi-カタログの問題を修正。
-
メモリ統計と最適化の問題を修正。
-
decimalV3とdate/datetimev2関連の問題を修正。
-
load transactionの安定性の問題を修正。
-
light-weight schema changeの問題を修正。
-
バッチパーティション作成で
datetime型を使用する問題を修正。 -
大量の失敗したbroker loadがFEメモリ使用量を過度に高くする問題を修正。
-
テーブルをドロップした後にstream loadをキャンセルできない問題を修正。
-
一部のケースで
information_schemaのクエリがタイムアウトする問題を修正。 -
select outfileを使用した同時データエクスポートによって引き起こされるBEクラッシュの問題を修正。 -
transactional insert操作のメモリリークを修正。
-
複数のquery/load profileの問題を修正し、FE web ui経由でのプロファイルの直接ダウンロードをサポート。
-
BE tablet GCスレッドがIO utilを過度に高くする問題を修正。
-
Kafka routine loadでcommit offsetが不正確な問題を修正。
