テーブルインデックス設計の最適化

概要

Dorisは現在、2つのタイプのインデックスをサポートしています：

組み込みインデックス：これにはプレフィックスインデックス、ZoneMapインデックスなどが含まれます。
セカンダリインデックス：これには転置インデックス、Bloomフィルターインデックス、N-Gram Bloomフィルターインデックス、Bitmapインデックスなどが含まれます。

ビジネス最適化の過程において、ビジネス特性を十分に分析し、インデックスを効果的に活用することで、クエリと分析の効率を大幅に向上させ、パフォーマンスチューニングの目的を達成することができます。

各種インデックスの詳細な説明については、table Indexセクションを参照してください。この章では、実際のケースの観点からいくつかの典型的なシナリオにおけるインデックス使用技法を実演し、ビジネスチューニングの参考となる最適化提案をまとめます。

ケース1：プレフィックスインデックスを活用してクエリを高速化するためのキーカラムの順序最適化

テーブルスキーマ設計の最適化では、適切なフィールドをキーフィールドとして選択し、Dorisのキーカラムソート機能を活用してクエリを高速化する方法を紹介しました。このケースでは、このシナリオをさらに拡張します。

Dorisの組み込みプレフィックスインデックス機能により、テーブル作成時にテーブルのKeyの最初の36バイトをプレフィックスインデックスとして自動的に取得します。クエリ条件がプレフィックスインデックスのプレフィックスと一致する場合、クエリを大幅に高速化できます。以下はテーブル定義の例です：

CREATE TABLE `t1` (
  `c1` VARCHAR(10) NULL,
  `c2` VARCHAR(10) NULL
) ENGINE=OLAP
DUPLICATE KEY(`c1`)
DISTRIBUTED BY HASH(`c2`) BUCKETS 10
PROPERTIES (
"replication_allocation" = "tag.location.default: 1"
);

対応するビジネスSQLパターンは以下の通りです：

select * from t1 where t1.c2 = '1';
select * from t1 where t1.c2 in ('1', '2', '3');

上記のスキーマ定義では、c1がc2よりも前に配置されています。しかし、クエリではフィルタリングにc2フィールドを使用しています。この場合、プレフィックスインデックスの高速化機能を活用することができません。最適化するために、c1とc2の定義順序を調整し、c2カラムを最初のフィールド位置に配置することで、プレフィックスインデックスの高速化機能を活用できます。

調整後のスキーマは以下の通りです：

CREATE TABLE `t1` (
  `c2` VARCHAR(10) NULL,
  `c1` VARCHAR(10) NULL
) ENGINE=OLAP
DUPLICATE KEY(`c2`)
DISTRIBUTED BY HASH(`c1`) BUCKETS 10
PROPERTIES (
"replication_allocation" = "tag.location.default: 1"
);

ヒント

スキーマのカラム順を定義する際は、ビジネスクエリフィルタリングで高頻度かつ高優先度のカラムを参照し、Dorisのprefix index加速機能を最大限活用してください。

ケース2: Inverted Indexを使用したクエリ加速

Dorisはsecondary indexとしてinverted indexをサポートし、テキスト型の等値、範囲、全文検索などのビジネスシナリオを加速します。Inverted indexの作成と管理は独立しており、元のテーブルスキーマに影響を与えることなく、テーブルデータの再インポートが不要で、便利なビジネスパフォーマンス最適化を可能にします。

典型的な使用シナリオ、構文、ケースについては、Table Index - Inverted Indexセクションで詳細な説明を参照してください。この章では重複した説明は行いません。

ヒント

テキスト型の全文検索や、文字列、数値、datetime型フィールドの等値または範囲クエリに対して、inverted indexを活用してクエリを加速できます。特に、元のテーブル構造とkey定義の最適化が困難な場合や、テーブルデータの再インポートコストが高い場合など、inverted indexはビジネス実行パフォーマンスを最適化する柔軟な加速ソリューションを提供します。

まとめ

スキーマチューニングにおいて、テーブルレベルのスキーマ最適化に加えて、インデックス最適化も重要な位置を占めています。Dorisはprefix indexなどの組み込みインデックスやinverted indexなどのsecondary indexを含む複数のインデックスタイプを提供し、パフォーマンス加速に強力なサポートを提供します。これらのインデックスを合理的に活用することで、複数のシナリオでビジネスクエリと分析の速度を大幅に向上させることができ、これはマルチシナリオのビジネスクエリと分析にとって大きな意義を持ちます。

概要​

ケース1：プレフィックスインデックスを活用してクエリを高速化するためのキーカラムの順序最適化​

ケース2: Inverted Indexを使用したクエリ加速​

まとめ​

概要

ケース1：プレフィックスインデックスを活用してクエリを高速化するためのキーカラムの順序最適化

ケース2: Inverted Indexを使用したクエリ加速

まとめ