カラム圧縮
Dorisはカラムナストレージモデルを採用してデータを整理・保存しており、これは分析ワークロードに特に適しており、クエリ効率を大幅に向上させることができます。カラムナストレージでは、テーブルの各列が独立して保存され、圧縮技術の適用を促進し、ストレージ効率を向上させます。Dorisは様々な圧縮アルゴリズムを提供しており、ユーザーはワークロードの要件に基づいて適切な圧縮方法を選択し、ストレージとクエリパフォーマンスを最適化できます。
圧縮が必要な理由
Dorisにおいて、データ圧縮は主に以下の2つの中核的な目的があります：
-
ストレージ効率の向上 圧縮により、データストレージに必要なディスク容量を大幅に削減でき、同じ物理リソースでより多くのデータを保存できます。
-
パフォーマンスの最適化 圧縮されたデータの容量は小さくなるため、クエリ中に必要なI/O操作が少なくなり、クエリ応答時間が高速化されます。現代の圧縮アルゴリズムは通常、非常に高速な展開速度を持ち、ストレージ容量を削減しながら読み取り効率を向上させることができます。
サポートされる圧縮アルゴリズム
Dorisは様々な圧縮アルゴリズムをサポートしており、それぞれが圧縮率と展開速度の間で異なるトレードオフを持っているため、ユーザーはニーズに基づいて適切なアルゴリズムを選択できます：
| 圧縮タイプ | 特性 | 適用シナリオ |
|---|---|---|
| No Compression | - データに圧縮を適用しない。 | 圧縮が不要なシナリオに適しており、データがすでに圧縮されている場合やストレージ容量が問題でない場合など。 |
| LZ4 | - 非常に高速な圧縮・展開速度。 - 中程度の圧縮率。 | 高い展開速度要件があるシナリオに適しており、リアルタイムクエリや高同時実行負荷など。 |
| LZ4F (LZ4 Frame) | - より柔軟な圧縮設定をサポートするLZ4の拡張版。 - 高速で中程度の圧縮率。 | 設定の細かい制御とともに高速圧縮が必要な場合に必要。 |
| LZ4HC (LZ4 High Compression) | - LZ4と比較してより高い圧縮率、ただし圧縮速度は遅い。 - 展開速度はLZ4に匹敵。 | より高い圧縮率が必要で、展開速度を重視する場合に必要。 |
| ZSTD (Zstandard) | - 高い圧縮率で柔軟な圧縮レベル調整。 - 高圧縮率でも展開速度は高速を維持。 | 高いストレージ効率要求で、クエリパフォーマンスとのバランスが必要な場合に必須。 |
| Snappy | - 高速展開のために設計。 - 中程度の圧縮率。 | 高い展開速度と低CPU負荷要求があるシナリオに必須。 |
| Zlib | - 圧縮率と速度のバランスが良い。 - 他のアルゴリズムと比較して圧縮・展開速度は遅いが、高い圧縮率。 | 高いストレージ効率要求があり、展開速度に鈍感なシナリオに必須、アーカイブやコールドデータストレージなど。 |
圧縮原理
カラム圧縮 カラムナストレージの採用により、Dorisはテーブルの各列を独立して圧縮できます。この方法は、同じ列内のデータが類似した分布特性を持つことが多いため、圧縮効率を向上させます。
圧縮前のエンコーディング データを圧縮する前に、Dorisは列データをエンコードし（例：辞書エンコーディング、ランレングスエンコーディングなど）、データをより圧縮に適した形に変換し、圧縮効率をさらに向上させます。
ページ圧縮 Dorisはページレベルの圧縮戦略を採用しています。各列のデータは複数のページに分割され、各ページ内のデータが独立して圧縮されます。ページごとの圧縮により、Dorisは大規模データセットを効率的に処理でき、高い圧縮率と展開パフォーマンスを確保できます。
設定可能な圧縮戦略 ユーザーはテーブル作成時に使用する圧縮アルゴリズムを指定できます。この柔軟性により、ユーザーは特定のワークロードに基づいて圧縮効率とパフォーマンス間の最適な選択を行うことができます。
圧縮効果に影響する要因
異なる圧縮アルゴリズムがそれぞれ利点と欠点を持つものの、圧縮の効果は選択したアルゴリズムだけでなく、以下の要因にも依存します：
データの順序
データの順序は圧縮効果に大きな影響を与えます。高い順序性を持つ列（例：タイムスタンプや連続した数値列）について、圧縮アルゴリズムは通常より良い結果を達成できます。データの順序がより規則的であるほど、圧縮アルゴリズムは圧縮時により多くの反復パターンを識別でき、圧縮率を向上させることができます。
データの冗長性
データ列に重複値が多いほど、圧縮効果はより顕著になります。例えば、重複値に辞書エンコーディングを使用すると、ストレージ容量を大幅に削減できます。ただし、明らかな重複のないデータ列については、圧縮効果は期待に沿わない場合があります。
データタイプ
データのタイプも圧縮効果に影響を与えることがあります。一般的に、数値データタイプ（整数や浮動小数点数など）は文字列データタイプよりも圧縮しやすいです。値の範囲が広いデータタイプについては、圧縮アルゴリズムの効果に影響する可能性があります。
カラム長
列内のデータの長さも圧縮効果に影響することがあります。短い列は通常、長い列よりも圧縮しやすく、これは圧縮アルゴリズムが短いデータブロックでより効率的に反復パターンを見つけられるためです。
NULL値
列内のnull値の割合が高い場合、圧縮アルゴリズムはより効果的である可能性があります。これらのnull値を特別なパターンとしてエンコードし、ストレージ容量を削減できるためです。
適切な圧縮アルゴリズムの選択方法
適切な圧縮アルゴリズムの選択は、ワークロードの特性に基づいて行うべきです：
- 高性能リアルタイム分析シナリオでは、LZ4またはSnappyの使用を推奨します。
- ストレージ効率を優先するシナリオでは、ZSTDまたはZlibの使用を推奨します。
- 速度と圧縮率のバランスが必要なシナリオでは、LZ4Fを選択できます。
- アーカイブやコールドデータストレージシナリオでは、ZlibまたはLZ4HCの使用を推奨します。
DorisでのCompressionの設定
テーブル作成時に圧縮アルゴリズムを指定して、データの保存方法を決定できます：
CREATE TABLE example_table (
id INT,
name STRING,
age INT
)
DUPLICATE KEY(id)
DISTRIBUTED BY HASH(id) BUCKETS 10
PROPERTIES (
"compression" = "zstd"
);
