インデックス概要

データベースインデックスはクエリを高速化するために使用されます。異なるクエリシナリオを高速化するため、Dorisは様々な豊富なインデックスをサポートしています。

インデックスタイプと原理

クエリの高速化とその原理の観点から、Dorisインデックスは主に2つのタイプに分類されます：ポイントクエリインデックスとスキップインデックスです。

• ポイントクエリインデックス： ポイントクエリの高速化によく使用され、原理はインデックスを通じてWHERE条件を満たす行を特定し、それらの行を直接読み取ることです。条件を満たす行数が少ない場合、ポイントクエリインデックスは非常に効果的です。DorisのポイントクエリインデックスにはPrefix IndexとInverted Indexが含まれます。
  • Prefix Index： Dorisはソートキーに従って順序付けられた方法でデータを格納し、1024行ごとにスパースプレフィックスインデックスを作成します。インデックスのキーは、現在の1024行の最初の行のソート列の値です。クエリがソート列に関わる場合、システムは関連する1024行グループの最初の行を見つけ、そこからスキャンを開始します。
  • Inverted Index： 転置インデックスを持つ列の場合、各値を行IDのセットにマッピングするposting listが作成されます。等価クエリの場合、まずposting listから行IDのセットを見つけ、次にそれらの行のデータを直接読み取り、行ごとのスキャンを回避します。転置インデックスは範囲フィルタリングと全文検索も高速化できます。アルゴリズムはより複雑ですが、基本原理は類似しています。（注意：以前のBITMAPインデックスは、より強力な転置インデックスに置き換えられました。）
• スキップインデックス： 分析の高速化によく使用され、原理はインデックスを通じてWHERE条件を満たさないデータブロックを特定し、これらのブロックをスキップして、条件を満たす可能性のあるデータブロックのみを読み取り、その後行ごとのフィルタを実行して最終的に条件を満たす行を取得することです。スキップインデックスは、条件を満たす行数が多い場合により効果的です。DorisのスキップインデックスにはZoneMapインデックス、BloomFilterインデックス、およびNGram BloomFilterインデックスが含まれます。
  • ZoneMap Index： 各列の統計を自動的に維持し、各データファイル（Segment）とデータブロック（Page）の最大値、最小値、およびNULL値があるかどうかを記録します。等価クエリ、範囲クエリ、およびIS NULLの場合、最大値、最小値、およびNULL値があるかどうかに基づいて、データファイルとデータブロックが条件を満たすデータを含むことができるかどうかを判断できます。そうでない場合、Dorisは対応するファイルまたはデータブロックの読み取りをスキップし、IOを削減してクエリを高速化します。
  • BloomFilter Index： インデックス列の値をBloomFilterデータ構造に格納し、非常に少ないストレージ空間で値がBloomFilterにあるかどうかを迅速に判断できます。等価クエリの場合、値がBloomFilterにない場合、対応するデータファイルまたはデータブロックをスキップでき、IOを削減してクエリを高速化します。
  • NGram BloomFilter Index： テキストLIKEクエリの高速化に使用されます。原理はBloomFilterインデックスと似ていますが、元のテキスト値を格納する代わりに、テキストのNGramトークン化を実行し、各トークンをBloomFilterに格納します。LIKEクエリの場合、LIKEパターンもNGramを使用してトークン化されます。いずれかのトークンがBloomFilterにない場合、対応するデータファイルまたはデータブロックはLIKE条件を満たさず、スキップできます。

上記のインデックスの中で、prefix indexとZoneMap indexはDorisによって自動的に維持される組み込みインデックスであり、ユーザー管理は不要です。Inverted index、BloomFilter index、およびNGram BloomFilter indexは、シナリオに基づいてユーザーが手動で作成・管理する必要があります。

• 異なるタイプのインデックスの特性比較

タイプ	インデックス	利点	制限
Point Query	Prefix Index	組み込みインデックス、最高のパフォーマンス。 テーブルごとに1つのプレフィックスインデックスのみ。	テーブルごとに1つのプレフィックスインデックスのみ。
Point Query	Inverted Index	トークン化とキーワードマッチングをサポート。 任意の列でのインデックス構築。 マルチ条件組み合わせと、より多くの機能の高速化。	大きなインデックスストレージ空間、生データと類似。
Skip	ZoneMap Index	組み込みインデックス、小さなインデックスストレージ空間。 テーブルごとに1つのプレフィックスインデックスのみ。	テーブルごとに1つのプレフィックスインデックスのみ。
Skip	BloomFilter Index	ZoneMapよりも精密、中程度のインデックス空間。	サポートするクエリタイプが少ない。 等価のみをサポート（その他：不等価、範囲、LIKE、MATCHはサポートしない）。
Skip	NGram BloomFilter	LIKE高速化をサポート、中程度のインデックス空間。	サポートするクエリタイプが少ない。 LIKE高速化のみをサポート。

• インデックス高速化のオペレーターと関数のリスト

オペレーターまたは関数	Prefix Index	Inverted Index	ZoneMap Index	BloomFilter Index	NGram BloomFilter Index
=	YES	YES	YES	YES	NO
!=	YES	YES	NO	NO	NO
IN	YES	YES	YES	YES	NO
NOT IN	YES	YES	NO	NO	NO
>, >=, <, <=, BETWEEN	YES	YES	YES	NO	NO
IS NULL	YES	YES	YES	NO	NO
IS NOT NULL	YES	YES	NO	NO	NO
LIKE	NO	NO	NO	NO	YES
MATCH, MATCH_*	NO	YES	NO	NO	NO
array_contains	NO	YES	NO	NO	NO
array_overlaps	NO	YES	NO	NO	NO
is_ip_address_in_range	NO	YES	NO	NO	NO

インデックス設計ガイドライン

データベーステーブルインデックスの設計と最適化は、データ分散とクエリと密接に関連しており、実際のシナリオに基づいてテストと最適化が必要です。「銀の弾丸」はありませんが、Dorisはインデックス使用の難易度を継続的に削減するよう努力しています。ユーザーは、インデックス選択とテストのために、これらのシンプルなガイドラインに従うことができます。

1. 最も頻繁に使用されるフィルタ条件をKEYとして指定し、プレフィックスインデックスを自動的に作成します。これは最高のフィルタリング効果を持ちます。ただし、テーブルごとに1つのプレフィックスインデックスのみ作成できるため、最も頻繁なフィルタ条件に使用すべきです。
2. フィルタ高速化が必要な非キーフィールドの場合、幅広い適用性とマルチ条件組み合わせにより、第一選択は転置インデックスの作成です。第二選択には以下の2つのインデックスが含まれます：
   • 文字列LIKEマッチングが必要な場合は、NGram BloomFilterインデックスを追加します。
   • インデックスストレージ空間が重要な場合は、転置インデックスをBloomFilterインデックスに置き換えます。
3. パフォーマンスが期待通りでない場合は、QueryProfileを通じてインデックスによってフィルタされるデータ量と消費時間を分析します。詳細については各インデックスの詳細ドキュメントを参照してください。