コンピュートグループの管理
コンピュート・ストレージ分離アーキテクチャでは、1つまたは複数のコンピュートノード(BE)をCompute Groupにグループ化できます。このドキュメントでは、以下のような操作を含むcompute groupsの使用方法について説明します:
- 全compute groupsの表示
- compute groupアクセスの許可
- ユーザーレベルでのcompute groupsのバインディング(
default_compute_group)によるユーザーレベル分離
注意 バージョン3.0.2より前では、これはCompute クラスターと呼ばれていました。
Compute Group使用シナリオ
マルチcompute groupアーキテクチャでは、1つまたは複数のステートレスBEノードをcompute clustersにグループ化できます。compute cluster指定文(use @<compute_group_name>)を使用することで、特定のワークロードを特定のcompute clustersに割り当て、複数のインポートおよびクエリワークロードの物理的分離を実現できます。
2つのcompute clusters(C1とC2)があると仮定します。
-
Read-Read分離: 2つの大きなクエリを開始する前に、それぞれ
use @c1とuse @c2を使用して、クエリが異なるコンピュートノードで実行されるようにします。これにより、同じデータセットにアクセスする際のリソース競合(CPU、メモリなど)を防ぎます。 -
Read-Write分離: Dorisデータインポートは大量のリソースを消費し、特に大容量データと高頻度インポートのシナリオで顕著です。クエリとインポート間のリソース競合を回避するために、
use @c1とuse @c2を使用してクエリをC1で、インポートをC2で実行するよう指定できます。さらに、C1 compute clusterはC2 compute clusterで新しくインポートされたデータにアクセスできます。 -
Write-Write分離: read-write分離と同様に、インポート同士も分離できます。例えば、システムに高頻度小規模インポートと大容量バッチインポートの両方がある場合、バッチインポートは通常時間がかかり再試行コストが高く、高頻度小規模インポートは迅速で再試行コストが低くなります。小規模インポートがバッチインポートを妨害することを防ぐために、
use @c1とuse @c2を使用して小規模インポートをC1で、バッチインポートをC2で実行するよう指定できます。
デフォルトCompute Group選択メカニズム
ユーザーが明示的にデフォルトcompute groupを設定していない場合、システムは自動的にユーザーが使用権限を持つActive BEを含むcompute groupを選択します。特定のセッションでデフォルトcompute groupが決定されると、ユーザーが明示的にデフォルト設定を変更しない限り、そのセッション中は変更されません。
異なるセッションで、以下の状況が発生した場合、システムはユーザーのデフォルトcompute groupを自動的に変更する可能性があります:
- ユーザーが前回のセッションで選択されたデフォルトcompute groupの使用権限を失った
- compute groupが追加または削除された
- 以前に選択されたデフォルトcompute groupにAlive BEがなくなった
状況1と2は、自動選択されるデフォルトcompute groupの変更に確実につながり、状況3は変更につながる可能性があります。
全Compute Groupsの表示
SHOW COMPUTE GROUPSコマンドを使用して、現在のリポジトリ内の全compute groupsを表示します。返される結果は、ユーザーの権限レベルに基づいて異なる内容が表示されます:
ADMIN権限を持つユーザーは全compute groupsを表示できます- 一般ユーザーは使用権限(USAGE_PRIV)を持つcompute groupsのみ表示できます
- ユーザーがどのcompute groupsに対しても使用権限を持たない場合、空の結果が返されます
SHOW COMPUTE GROUPS;
Compute Groupの追加
compute groupを管理するにはOPERATOR権限が必要です。この権限はノード管理の権限を制御します。詳細については、Privilege Managementを参照してください。デフォルトでは、rootアカウントのみがOPERATOR権限を持っていますが、GRANTコマンドを使用して他のアカウントに付与することができます。
BEを追加してcompute groupに割り当てるには、Add BEコマンドを使用します。例:
ALTER SYSTEM ADD BACKEND 'host:9050' PROPERTIES ("tag.compute_group_name" = "new_group");
上記のsqlはhost:9050をcompute group new_groupに追加します。PROPERTIES文を省略した場合、BEはcompute group default_compute_groupに追加されます。例えば:
ALTER SYSTEM ADD BACKEND 'host:9050';
Compute Group アクセスの許可
前提条件: 現在の操作ユーザーが 'ADMIN' 権限を持っているか、現在のユーザーが admin ロールに属している。
GRANT USAGE_PRIV ON COMPUTE GROUP {compute_group_name} TO {user}
Compute Group アクセスの取り消し
前提条件:現在の操作ユーザーが 'ADMIN' 権限を持っているか、現在のユーザーが admin ロールに属している。
REVOKE USAGE_PRIV ON COMPUTE GROUP {compute_group_name} FROM {user}
デフォルトCompute Groupの設定
現在のユーザーのデフォルトcompute groupを設定するには(この操作には、現在のユーザーが既にcomputing groupを使用する権限を持っている必要があります):
SET PROPERTY 'default_compute_group' = '{clusterName}';
他のユーザーのデフォルトcompute groupを設定するには(この操作にはAdmin権限が必要です):
SET PROPERTY FOR {user} 'default_compute_group' = '{clusterName}';
現在のユーザーのデフォルトコンピュートグループを表示するには、返された結果のdefault_compute_groupの値がデフォルトコンピュートグループです:
SHOW PROPERTY;
他のユーザーのデフォルトcompute groupを表示するには、この操作は現在のユーザーがadmin権限を持つ必要があり、返された結果のdefault_compute_groupの値がデフォルトcompute groupになります:
SHOW PROPERTY FOR {user};
現在のリポジトリで利用可能なすべてのcompute groupsを表示するには:
SHOW COMPUTE GROUPS;
- 現在のユーザーがAdmin roleを持つ場合、例:
CREATE USER jack IDENTIFIED BY '123456' DEFAULT ROLE "admin"の場合:- 自分および他のユーザーのデフォルトcompute groupを設定できます。
- 自分および他のユーザーの
PROPERTYを表示できます。
- 現在のユーザーがAdmin roleを持たない場合、例:
CREATE USER jack1 IDENTIFIED BY '123456'の場合:- 自分のデフォルトcompute groupを設定できます。
- 自分の
PROPERTYを表示できます。 - すべてのcompute groupを表示できません。この操作は
GRANT ADMIN権限が必要です。
- 現在のユーザーがデフォルトcompute groupを設定していない場合、既存のシステムはデータの読み取り/書き込み操作を実行する際にエラーを発生させます。この問題を解決するには、ユーザーは
use @clusterコマンドを実行して現在のコンテキストで使用するcompute groupを指定するか、SET PROPERTY文を使用してデフォルトcompute groupを設定できます。 - 現在のユーザーがデフォルトcompute groupを設定しているが、そのclusterがその後削除された場合、データの読み取り/書き込み操作中にもエラーが発生します。ユーザーは
use @clusterコマンドを実行して現在のコンテキストで使用するcompute groupを再指定するか、SET PROPERTY文を使用してデフォルトcluster設定を更新できます。
Compute Groupの切り替え
ユーザーは、compute-storage分離アーキテクチャでデータベースと使用するcompute groupを指定できます。
構文
USE { [catalog_name.]database_name[@compute_group_name] | @compute_group_name }
データベースまたはcompute groupの名前に予約キーワードが含まれている場合、対応する名前をバッククォート```で囲む必要があります。
Compute Groupのスケーリング
ALTER SYSTEM ADD BACKENDとALTER SYSTEM DECOMMISION BACKENDを使用してBEを追加または削除することで、compute groupをスケールできます。