インデックス概要

データベースインデックスはクエリの高速化に使用されます。異なるクエリシナリオを高速化するために、Dorisは様々な豊富なインデックスをサポートしています。

インデックスの種類と原理

クエリ高速化とその原理の観点から、Dorisインデックスは主に2つのタイプに分類されます：ポイントクエリインデックスとスキップインデックス。

• ポイントクエリインデックス： ポイントクエリの高速化によく使用され、原理はインデックスを通じてWHERE条件を満たす行を特定し、それらの行を直接読み取ることです。ポイントクエリインデックスは条件を満たす行数が少ない場合に非常に効果的です。DorisのポイントクエリインデックスにはPrefix IndexとInverted Indexがあります。
  • Prefix Index： Dorisはソートキーに従って順序付けられた方法でデータを格納し、1024行ごとにスパースプレフィックスインデックスを作成します。インデックス内のキーは、現在の1024行の最初の行におけるソート済み列の値です。クエリがソート済み列に関わる場合、システムは関連する1024行グループの最初の行を見つけ、そこからスキャンを開始します。
  • Inverted Index： 転置インデックスを持つ列では、各値を行IDのセットにマッピングするposting listが作成されます。等価クエリでは、まずposting listから行IDのセットを見つけ、次にそれらの行のデータを直接読み取り、行ごとのスキャンを回避します。転置インデックスは範囲フィルタリングと全文検索も高速化できます。アルゴリズムはより複雑ですが、基本原理は類似しています。（注：以前のBITMAPインデックスは、より強力な転置インデックスに置き換えられました。）
• スキップインデックス： 分析の高速化によく使用され、原理はインデックスを通じてWHERE条件を満たさないデータブロックを判定し、これらのブロックをスキップして、条件を満たす可能性のあるデータブロックのみを読み取り、その後行ごとのフィルタを実行して最終的に条件を満たす行を取得することです。スキップインデックスは条件を満たす行数が多い場合により効果的です。DorisのスキップインデックスにはZoneMapインデックス、BloomFilterインデックス、NGram BloomFilterインデックスがあります。
  • ZoneMap Index： 各列の統計を自動的に維持し、各データファイル（Segment）とデータブロック（Page）の最大値、最小値、NULL値の有無を記録します。等価クエリ、範囲クエリ、IS NULLでは、最大値、最小値、NULL値の有無に基づいて、データファイルやデータブロックが条件を満たすデータを含有できるかを判定できます。含有できない場合、Dorisは対応するファイルやデータブロックの読み取りをスキップし、IOを削減してクエリを高速化します。
  • BloomFilter Index： インデックス対象列の値をBloomFilterデータ構造に格納し、非常に少ない記憶領域で値がBloomFilter内にあるかを迅速に判定できます。等価クエリでは、値がBloomFilter内にない場合、対応するデータファイルやデータブロックをスキップでき、IOを削減してクエリを高速化します。
  • NGram BloomFilter Index： テキストLIKEクエリの高速化に使用されます。原理はBloomFilterインデックスと類似していますが、元のテキスト値を格納する代わりに、テキストのNGramトークン化を実行し、各トークンをBloomFilterに格納します。LIKEクエリでは、LIKEパターンもNGramを使用してトークン化されます。いずれかのトークンがBloomFilter内にない場合、対応するデータファイルやデータブロックはLIKE条件を満たさないため、スキップできます。

上記のインデックスの中で、prefix indexとZoneMap indexはDorisによって自動的に維持される組み込みインデックスであり、ユーザー管理は不要です。Inverted index、BloomFilter index、NGram BloomFilter indexは、シナリオに基づいてユーザーが手動で作成・管理する必要があります。

• 異なるタイプのインデックスの特性比較

タイプ	インデックス	利点	制限事項
Point Query	Prefix Index	組み込みインデックス、最高のパフォーマンス。 テーブルあたり1つのプレフィックスインデックスのみ。	テーブルあたり1つのプレフィックスインデックスのみ。
Point Query	Inverted Index	トークン化とキーワードマッチングをサポート。 任意の列でのインデックス構築。 多条件組み合わせとより多くの機能の高速化。	インデックス記憶領域が大きく、生データと類似。
Skip	ZoneMap Index	組み込みインデックス、インデックス記憶領域が小さい。 テーブルあたり1つのプレフィックスインデックスのみ。	テーブルあたり1つのプレフィックスインデックスのみ。
Skip	BloomFilter Index	ZoneMapより精密、インデックス領域は中程度。	サポートするクエリタイプが少ない。 等価のみサポート（その他：不等価、範囲、LIKE、MATCHは非サポート）。
Skip	NGram BloomFilter	LIKE高速化をサポート、インデックス領域は中程度。	サポートするクエリタイプが少ない。 LIKE高速化のみサポート。

• インデックス高速化の演算子と関数のリスト

演算子または関数	Prefix Index	Inverted Index	ZoneMap Index	BloomFilter Index	NGram BloomFilter Index
=	YES	YES	YES	YES	NO
!=	YES	YES	NO	NO	NO
IN	YES	YES	YES	YES	NO
NOT IN	YES	YES	NO	NO	NO
>, >=, <, <=, BETWEEN	YES	YES	YES	NO	NO
IS NULL	YES	YES	YES	NO	NO
IS NOT NULL	YES	YES	NO	NO	NO
LIKE	NO	NO	NO	NO	YES
MATCH, MATCH_*	NO	YES	NO	NO	NO
array_contains	NO	YES	NO	NO	NO
array_overlaps	NO	YES	NO	NO	NO
is_ip_address_in_range	NO	YES	NO	NO	NO

インデックス設計ガイドライン

データベーステーブルインデックスの設計と最適化は、データ分散とクエリに密接に関連しており、実際のシナリオに基づいたテストと最適化が必要です。「銀の弾丸」は存在しませんが、Dorisはインデックスの使用難易度を継続的に削減することに努めています。ユーザーはインデックス選択とテストのために、これらのシンプルなガイドラインに従うことができます。

1. 最も頻繁に使用されるフィルタ条件をKEYとして指定し、prefix indexを自動作成します。これは最高のフィルタリング効果を持ちます。ただし、テーブルあたり1つのprefix indexしか作成できないため、最も頻繁なフィルタ条件に使用すべきです。
2. フィルタ高速化が必要な非キーフィールドでは、広い適用性と多条件組み合わせのため、inverted indexの作成が第一選択肢です。第二選択肢には以下の2つのインデックスがあります：
   • 文字列LIKEマッチングが必要な場合、NGram BloomFilter indexを追加します。
   • インデックス記憶領域が重要な場合、inverted indexをBloomFilter indexに置き換えます。
3. パフォーマンスが期待通りでない場合、QueryProfileを通じてインデックスによってフィルタされるデータ量と消費時間を分析します。詳細は各インデックスの詳細ドキュメントを参照してください。