インデックス概要

データベースインデックスはクエリを高速化するために使用されます。さまざまなクエリシナリオを高速化するため、Dorisは多様で豊富なインデックスをサポートしています。

インデックスの種類と原理

クエリの高速化とその原理の観点から、Dorisのインデックスは2つの主要なタイプに分類されます：ポイントクエリインデックスとスキップインデックスです。

• ポイントクエリインデックス： ポイントクエリの高速化によく使用され、原理はインデックスを通じてWHERE条件を満たす行を特定し、それらの行を直接読み取ることです。ポイントクエリインデックスは条件に一致する行数が少ない場合に非常に効果的です。DorisのポイントクエリインデックスにはPrefix IndexとInverted Indexが含まれます。
  • Prefix Index： Dorisはソートキーに従って順序良くデータを格納し、1024行ごとに疎なプレフィックスインデックスを作成します。インデックス内のキーは、現在の1024行の最初の行のソート列の値です。クエリがソート列を含む場合、システムは関連する1024行グループの最初の行を見つけ、そこからスキャンを開始します。
  • Inverted Index： 転置インデックスがある列については、各値を行IDのセットにマッピングするposting listが作成されます。等価クエリについては、まずposting listから行IDのセットを見つけ、次にそれらの行のデータを直接読み取り、行ごとのスキャンを回避します。転置インデックスは範囲フィルタリングや全文検索も高速化できます。アルゴリズムはより複雑ですが、基本原理は類似しています。（注：以前のBITMAPインデックスは、より強力な転置インデックスに置き換えられました。）
• スキップインデックス： 分析の高速化によく使用され、原理はインデックスを通じてWHERE条件を満たさないデータブロックを特定し、これらのブロックをスキップして、条件を満たす可能性のあるデータブロックのみを読み取り、その後行ごとのフィルタを実行して最終的に条件に一致する行を取得することです。スキップインデックスは条件に一致する行数が多い場合により効果的です。DorisのスキップインデックスにはZoneMapインデックス、BloomFilterインデックス、NGram BloomFilterインデックスが含まれます。
  • ZoneMap Index： 各列の統計を自動的に維持し、各データファイル（Segment）とデータブロック（Page）の最大値、最小値、NULL値があるかどうかを記録します。等価クエリ、範囲クエリ、IS NULLについては、最大値、最小値、NULL値があるかどうかに基づいて、データファイルとデータブロックが条件を満たすデータを含む可能性があるかを判定できます。含まない場合、Dorisは対応するファイルまたはデータブロックの読み取りをスキップし、IOを削減してクエリを高速化します。
  • BloomFilter Index： インデックス対象列の値をBloomFilterデータ構造に格納し、非常に少ない格納領域で値がBloomFilter内にあるかを迅速に判定できます。等価クエリについて、値がBloomFilter内にない場合、対応するデータファイルまたはデータブロックをスキップでき、IOを削減してクエリを高速化します。
  • NGram BloomFilter Index： テキストのLIKEクエリを高速化するために使用されます。原理はBloomFilterインデックスと似ていますが、元のテキスト値を格納する代わりに、テキストのNGramトークン化を実行し、各トークンをBloomFilterに格納します。LIKEクエリについては、LIKEパターンもNGramを使用してトークン化されます。いずれかのトークンがBloomFilter内にない場合、対応するデータファイルまたはデータブロックはLIKE条件を満たさずスキップできます。

上記のインデックスのうち、prefix indexとZoneMap indexはDorisによって自動的に維持される組み込みインデックスであり、ユーザーによる管理は不要です。Inverted index、BloomFilter index、NGram BloomFilter indexは、シナリオに基づいてユーザーが手動で作成・管理する必要があります。

• 各種インデックスの特性比較

タイプ	インデックス	利点	制限
Point Query	Prefix Index	組み込みインデックス、最高のパフォーマンス。 テーブルごとに1つのプレフィックスインデックスのみ。	テーブルごとに1つのプレフィックスインデックスのみ。
Point Query	Inverted Index	トークン化とキーワードマッチングをサポート。 任意の列にインデックス構築。 複数条件の組み合わせとより多くの機能の高速化。	インデックスの格納領域が大きく、生データに類似。
Skip	ZoneMap Index	組み込みインデックス、インデックス格納領域が小さい。 テーブルごとに1つのプレフィックスインデックスのみ。	テーブルごとに1つのプレフィックスインデックスのみ。
Skip	BloomFilter Index	ZoneMapより精密、中程度のインデックス領域。	サポートするクエリタイプが少ない。 等価のみをサポート（その他：不等価、範囲、LIKE、MATCHはサポートしない）。
Skip	NGram BloomFilter	LIKE高速化をサポート、中程度のインデックス領域。	サポートするクエリタイプが少ない。 LIKE高速化のみをサポート。

• インデックス高速化の演算子と関数一覧

演算子または関数	Prefix Index	Inverted Index	ZoneMap Index	BloomFilter Index	NGram BloomFilter Index
=	YES	YES	YES	YES	NO
!=	YES	YES	NO	NO	NO
IN	YES	YES	YES	YES	NO
NOT IN	YES	YES	NO	NO	NO
>, >=, <, <=, BETWEEN	YES	YES	YES	NO	NO
IS NULL	YES	YES	YES	NO	NO
IS NOT NULL	YES	YES	NO	NO	NO
LIKE	NO	NO	NO	NO	YES
MATCH, MATCH_*	NO	YES	NO	NO	NO
array_contains	NO	YES	NO	NO	NO
array_overlaps	NO	YES	NO	NO	NO
is_ip_address_in_range	NO	YES	NO	NO	NO

インデックス設計ガイドライン

データベーステーブルインデックスの設計と最適化はデータ分布とクエリに密接に関連しており、実際のシナリオに基づいたテストと最適化が必要です。「銀の弾丸」は存在しませんが、Dorisはインデックス使用の難易度を下げるよう継続的に努力しています。ユーザーはこれらのシンプルなガイドラインに従ってインデックスの選択とテストを行うことができます。

1. 最も頻繁に使用されるフィルタ条件をKEYとして指定し、自動的にprefix indexを作成します。これは最高のフィルタ効果を持ちます。ただし、テーブルごとに1つのprefix indexしか作成できないため、最も頻繁なフィルタ条件に使用すべきです。
2. フィルタ高速化が必要な非キーフィールドについては、幅広い適用性と複数条件の組み合わせが可能なinverted indexの作成が第一選択肢です。第二選択肢には以下の2つのインデックスが含まれます：
   • 文字列のLIKEマッチングが必要な場合、NGram BloomFilter indexを追加します。
   • インデックス格納領域が重要な場合、inverted indexをBloomFilter indexに置き換えます。
3. パフォーマンスが期待通りでない場合、QueryProfileを通じてインデックスによってフィルタリングされるデータ量と消費時間を分析します。詳細については各インデックスの詳細ドキュメントを参照してください。