設計の順序
ワークロードの実態を踏まえて 四つの決定を下す.
長く使えるテーブル設計は、行の意味を定めることから始まります。その後、ソートキー、パーティションの境界、物理的なデータ分散方法を選びます。
- モデル同じキーの扱い
- ソートキー読み取り時のデータ局所性
- パーティション範囲とライフサイクル
- バケットタブレットの分散
- 検証サイズ、偏り、実行計画
Doris 101: Apache Doris テーブルガイド
Doris 101テーブルガイド
モジュール 03設計の順序
対象：Apache Doris 4.x1 / 7
テーブルモデルDUPDuplicate Key UNIUnique Key AGGAggregate Key
同じキーを持つ行は何を 意味するのか?
Duplicate はすべての行を保持し、Unique はキーごとに論理的な行を一つ保持します。Aggregate は宣言した関数で値列を集約します。
ファクト、ログ、詳細なイベントを、キーに基づいて統合せずに追記します。
更新されるエンティティを UPSERT し、最新の論理的な行を保持します。
SUM、MAX、MIN、REPLACE などの関数でメジャーを集約します。
ソートキー効果的な先頭部分 効果の低い先頭部分
よく使うフィルターをストレージが 活用できるようにする.
Doris はキー列の順序に従ってデータを格納します。そのため、ソートキーの先頭部分は、データの絞り込み、圧縮、スキャンコストに大きく影響します。
よく使う条件に合ったコンパクトな列。
- フィルターによく使われる
- データを効果的に絞り込める
- 値が安定しており、幅が適度に狭い
通常のアクセス方法と関係のない幅広い列。
- フィルターにほとんど使われない
- データをあまり絞り込めない
- 長い文字列を先頭に置きすぎている
パーティショニングMAN手動 DYN動的 AUTO自動
ワークロードに合わせて データを絞り込める論理的な境界を設ける.
パーティションはデータの範囲や値のグループを分離し、ライフサイクル操作を支え、クエリが無関係なデータを読み飛ばせるようにします。
RANGE または LIST の境界を明示的に指定し、運用者が直接管理します。
時間に基づくパーティションを、スケジュールに従って順次作成し、期限切れにします。
取り込み時の値に基づいて RANGE または LIST パーティションを作成します。
バケット分割ハッシュ方式のバケット分割 ランダム方式のバケット分割
各パーティションを適切な タブレットに分割する.
ハッシュ方式のバケット分割では、キーに基づいて配置先が決まります。ランダム方式では、分散キーを指定せずに行を分散します。
同じキー値は、決まった規則に従って配置先に割り当てられます。
- 値の種類が多く、均等に分布するキーを選ぶ
- データ分布を考慮した結合に対応
- キーの選択が不適切だとデータが偏る
キーを指定せずに行を分散できます。
- 手軽に均等なデータ取り込みを実現
- 安定したキーがない場合にも有効
- 分散配置におけるデータの局所性は低い
ワークロードのパターンLOGイベント分析 CDC最新の状態 KPI指標の集計
各項目の選択を組み合わせ、一貫した テーブル設計パターンにする.
優れた DDL には一貫性があります。行の意味、データの絞り込み、分散配置、取り込み時の動作が、いずれもワークロードに合っていることが重要です。
Duplicate Key で行を保持し、時間による絞り込みと均等な並列スキャンを行います。
一意のビジネスキーを使い、UPSERT を中心にデータを取り込みます。
安定したディメンションと、定義済みの値の集計方法を使います。
検証と改善
Doris が 実際に構築したテーブルを確認する.
ワークロードを拡大する前に、パーティションの絞り込み、タブレットのサイズ、行の分布、クエリ実行計画、データロード時の動作を確認します。
- データロード実際に近いデータ量
- 確認パーティション + タブレット
- EXPLAINデータの絞り込み + 実行計画
- プロファイル分析実行時のデータ
- 改善必要に応じて再構築