ローカルディスクの階層化ストレージ
Doris は SSD と HDD 間の階層化ストレージに対応しています。動的パーティションと組み合わせることで、データのアクセス頻度に応じてホットデータを SSD に保持し、コールドデータを HDD に自動移行できます。これにより、ホットデータの読み書き性能を高く保ちながら、ストレージ全体のコストを削減できます。
適用シナリオ
このドキュメントは、次のシナリオを対象としています。
- テーブルのデータが時間でパーティション分割され、アクセス頻度に明確な差がある。
- クラスタに SSD と HDD の両方がある。
- 最近のホットデータに対するクエリを SSD で高速化し、過去のコールドデータを HDD に保存してコストを抑えたい。
- 動的パーティションでデータのライフサイクルを自動管理し、手動での移行を避けたい。
クイックナビゲーション
- 基本概念:動的パーティションと階層化ストレージの関係。
- パラメータ一覧:
hot_partition_numとstorage_mediumの使い方。 - 使用例:テーブル作成用 SQL とパーティションの配置状況の確認。
- よくある質問:利用時によくある質問。
- トラブルシューティング:パーティションの作成失敗などへの対処。
基本概念
階層化ストレージは動的パーティションを基盤として実装されています。Doris はパーティションのアクセス頻度に応じてストレージメディアを自動的に選択し、クールダウン時刻に達するとデータを移行先のメディアに移します。
ホットパーティションとコールドパーティション
| 種類 | 説明 | ストレージメディア | 性能上の特徴 |
|---|---|---|---|
| ホットパーティション | 最近活発に利用され、頻繁にアクセスされるパーティション | SSD | 高 IOPS、低レイテンシ |
| コールドパーティション | アクセス頻度の低い過去のデータを含むパーティション | HDD | 大容量、低コスト |
仕組み
階層化ストレージは次の流れで動作します。
- テーブルの作成時に動的パーティションを有効にし、
dynamic_partition.storage_medium = HDDを設定します。 dynamic_partition.hot_partition_numを使用して、現在のパーティション、過去N - 1個の時間区間に対応するパーティション、および将来のすべてのパーティションを SSD に保持します。- システムは各ホットパーティションに
storage_cooldown_timeを設定します。 - クールダウン時刻に達すると、パーティションのデータは SSD から HDD に自動的に移行されます。
動的パーティションの詳細は、データのパーティション分割 - 動的パーティションを参照してください。
パラメータ一覧
階層化ストレージでは、次の二つの動的パーティションのパラメータを使用します。
| パラメータ | 用途 | デフォルト | 備考 |
|---|---|---|---|
dynamic_partition.hot_partition_num | N > 0 の場合、現在のパーティション、過去 N - 1 個の時間区間に対応するパーティション、および将来のすべてのパーティションを SSD に保持する | なし | storage_medium = HDD と併用する必要がある |
dynamic_partition.storage_medium | 動的パーティションの最終的なストレージメディアを指定する | HDD | SSD に設定すると、hot_partition_num は効かなくなる |
dynamic_partition.hot_partition_num
- 機能:正の値
Nを指定すると、現在のパーティション、過去N - 1個の時間区間に対応するパーティション、および将来のすべてのパーティションを SSD に保持します。それより古いパーティションには HDD を使用します。 - 使用条件:
dynamic_partition.storage_medium = HDDも設定する必要があります。設定しない場合、このパラメータは効きません。- ストレージパスに SSD デバイスが必要です。SSD デバイスがない場合、パーティションの作成に失敗します。
例:
現在の日付が 2021-05-20 で、日単位のパーティションを使用し、動的パーティションを次のように設定したとします。
dynamic_partition.hot_partition_num = 2
dynamic_partition.start = -3
dynamic_partition.end = 3
システムは以下のパーティションを自動作成し、それぞれに対応するストレージメディアとクールダウン時刻を設定します。
p20210517: ["2021-05-17", "2021-05-18") storage_medium=HDD storage_cooldown_time=9999-12-31 23:59:59
p20210518: ["2021-05-18", "2021-05-19") storage_medium=HDD storage_cooldown_time=9999-12-31 23:59:59
p20210519: ["2021-05-19", "2021-05-20") storage_medium=SSD storage_cooldown_time=2021-05-21 00:00:00
p20210520: ["2021-05-20", "2021-05-21") storage_medium=SSD storage_cooldown_time=2021-05-22 00:00:00
p20210521: ["2021-05-21", "2021-05-22") storage_medium=SSD storage_cooldown_time=2021-05-23 00:00:00
p20210522: ["2021-05-22", "2021-05-23") storage_medium=SSD storage_cooldown_time=2021-05-24 00:00:00
p20210523: ["2021-05-23", "2021-05-24") storage_medium=SSD storage_cooldown_time=2021-05-25 00:00:00
日単位のパーティションでは、当日のオフセットは 0 です。hot_partition_num = N > 0 で、最終的なストレージメディアが HDD の場合、オフセットが -N より大きいパーティションには SSD を使用します。これには、当日、過去 N - 1 日、および dynamic_partition.end によって作成される将来のすべてのパーティションが含まれます。オフセットが i の SSD パーティションのクールダウン時刻は、当日から数えて i + N 日目の開始時刻です。
この例では、オフセット -3 と -2 のパーティションには HDD を使用し、オフセット -1 から 3 までのパーティションには SSD を使用します。2021-05-20 には、hot_partition_num = 2 でも SSD を使用するパーティションは五つあります。過去のパーティションを作成するには、以下の完全なテーブル定義に示すように、dynamic_partition.create_history_partition = true も必要です。
dynamic_partition.storage_medium
- 機能:動的パーティションの最終的なストレージメディアを指定します。有効な値は
HDD(デフォルト)またはSSDです。 - 注意事項:
SSDに設定すると、hot_partition_numパラメータは無視されます。- この場合、すべてのパーティションで SSD が使用され、クールダウン時刻は一律に
9999-12-31 23:59:59に設定されます。つまり、移行は行われません。
使用例
以下の手順では、階層化ストレージに対応するテーブルを作成し、各パーティションのストレージメディアの配置を確認します。
ステップ 1:階層化ストレージのテーブルを作成する
目的:SSD/HDD の階層化ストレージを有効にしたテーブルを作成します。hot_partition_num = 2 の場合、当日、前日、および将来のすべてのパーティションには SSD を使用し、それより古いパーティションには HDD を使用します。
CREATE TABLE tiered_table (k DATE)
PARTITION BY RANGE(k)()
DISTRIBUTED BY HASH (k) BUCKETS 5
PROPERTIES
(
"dynamic_partition.storage_medium" = "hdd",
"dynamic_partition.enable" = "true",
"dynamic_partition.time_unit" = "DAY",
"dynamic_partition.hot_partition_num" = "2",
"dynamic_partition.end" = "3",
"dynamic_partition.prefix" = "p",
"dynamic_partition.buckets" = "5",
"dynamic_partition.create_history_partition" = "true",
"dynamic_partition.start" = "-3"
);
ステップ 2:パーティションのストレージメディアを確認する
目的:パーティションが想定どおりに SSD と HDD に配置されていることを確認します。
SHOW PARTITIONS FROM tiered_table;
テーブルを 2021-05-20 に作成した場合、関連するパーティションの属性は以下のようになります。合計 7 パーティションのうち、5 パーティションが SSD、2 パーティションが HDD を使用します。
p20210517: ["2021-05-17", "2021-05-18") storage_medium=HDD storage_cooldown_time=9999-12-31 23:59:59
p20210518: ["2021-05-18", "2021-05-19") storage_medium=HDD storage_cooldown_time=9999-12-31 23:59:59
p20210519: ["2021-05-19", "2021-05-20") storage_medium=SSD storage_cooldown_time=2021-05-21 00:00:00
p20210520: ["2021-05-20", "2021-05-21") storage_medium=SSD storage_cooldown_time=2021-05-22 00:00:00
p20210521: ["2021-05-21", "2021-05-22") storage_medium=SSD storage_cooldown_time=2021-05-23 00:00:00
p20210522: ["2021-05-22", "2021-05-23") storage_medium=SSD storage_cooldown_time=2021-05-24 00:00:00
p20210523: ["2021-05-23", "2021-05-24") storage_medium=SSD storage_cooldown_time=2021-05-25 00:00:00
よくある質問
Q1:hot_partition_num が効かない場合は?
dynamic_partition.storage_medium = HDD も設定されていることを確認してください。ホットパーティションの設定は、最終的なストレージメディアが HDD の場合にのみ有効です。
Q2:SSD のみを使用できますか?
はい。dynamic_partition.storage_medium を SSD に設定すると、すべてのパーティションで SSD が使用され、クールダウンによる移行は行われません。この場合、hot_partition_num を設定する必要はありません。
Q3:クールダウン時刻に達した後、データはどのように移行されますか?
パーティションの storage_cooldown_time に達すると、システムがそのパーティションのデータを SSD から HDD に自動的に移行します。手動操作は不要です。
Q4:階層化ストレージと、オブジェクトストレージなどを使用したホット・コールドデータのアーカイブはどう違いますか?
SSD/HDD の階層化ストレージは、異なる種類のローカルディスク間でデータを移動するためのもので、短期から中期のホット・コールド分離に適しています。過去のデータをオブジェクトストレージ(S3、HDFS など)にアーカイブする場合は、ホット・コールド階層化ストレージのドキュメントを参照してください。
トラブルシューティング
| エラーの症状 | 考えられる原因 | 対処方法 |
|---|---|---|
| パーティションの作成に失敗する | ストレージパスに SSD デバイスがない | BE ノードに SSD のストレージパスを設定するか、HDD のみを使用する設定に切り替える |
hot_partition_num が効かない | storage_medium = HDD が設定されていない | dynamic_partition.storage_medium = HDD も設定する |
| すべてのパーティションが SSD を使用し、HDD に移行されない | storage_medium が SSD に設定されている | storage_medium を HDD に変更し、hot_partition_num を設定する |
| データが想定どおりに HDD に移行されない | storage_cooldown_time に達していない | クールダウン時刻に達するまで待つか、時刻の設定が正しいか確認する |