環境チェック
Dorisをデプロイする際、ハードウェアとソフトウェア環境について以下のチェックを実行する必要があります:
-
ハードウェア環境チェック
-
推奨サーバー構成
-
ディスク容量計算
-
Java環境チェック
ハードウェア環境チェック
ハードウェア環境チェックでは、以下のハードウェア条件を確認する必要があります:
| チェック項目 | 期待される結果 |
|---|---|
| CPU | AVX2命令セットをサポートしている必要があります。 |
| メモリ | CPUサイズの少なくとも4倍を推奨。 |
| ストレージ | SSDを推奨。 |
| ファイルシステム | ext4またはxfsファイルシステム。 |
| ネットワークカード | 10ギガビットネットワークカード。 |
CPUチェック
Dorisをインストールする際、クエリ高速化のためAVX2のベクトル化機能を活用できるよう、AVX2命令セットをサポートするマシンを選択することを推奨します。
マシンがAVX2命令セットをサポートしているかチェックするには、以下のコマンドを実行してください:
cat /proc/cpuinfo | grep avx2
マシンがAVX2命令セットをサポートしていない場合は、no AVX2 Dorisインストールパッケージを使用してデプロイメントを行うことができます。
メモリチェック
Dorisには厳格なメモリ制限はありません。一般的に、本番環境では以下の推奨事項に基づいてメモリサイズを選択できます:
| コンポーネント | 推奨メモリ構成 |
|---|---|
| FE | 最低16GB推奨。 |
| BE | メモリはCPUコア数の最低4倍である必要があります(例:16コアマシンの場合、最低64GBメモリ推奨)。CPUコア数の8倍のメモリでより良いパフォーマンスを達成できます。 |
ストレージチェック
Dorisはデプロイメント時にSSD、HDD、またはオブジェクトストレージにデータを保存することを可能にします。
以下のシナリオでは、データストレージにSSDが推奨されます:
-
大規模データでの高並行ポイントクエリシナリオ
-
大規模データでの高頻度データ更新シナリオ
ファイルシステムチェック
DorisではEXT4またはXFSファイルシステムの使用を推奨します:
-
EXT4:EXT4ファイルシステムは優れた安定性、パフォーマンス、そして低いフラグメンテーション問題を提供します。
-
XFS:XFSファイルシステムは大規模データと高並行書き込み操作の処理において優れたパフォーマンスを発揮し、高スループットアプリケーションに適しています。
ネットワークカードチェック
Dorisは並列処理のために異なるインスタンス間でデータパーティションを分散することを含み、これによりネットワークリソースのオーバーヘッドが発生します。Dorisのパフォーマンスを最適化し、ネットワークリソースのオーバーヘッドを削減するために、デプロイメント時には10ギガビットイーサネット(10GbE)またはより高速なネットワークの使用を強く推奨します。複数のネットワークカードが利用可能な場合は、リンクアグリゲーションを使用して複数のネットワークカードを1つの仮想インターフェースに結合することを推奨します。これによりネットワーク帯域幅、冗長性、および複雑な負荷分散機能が向上します。
サーバー構成推奨事項
Dorisはx86-64またはARM64アーキテクチャのサーバープラットフォームにデプロイできます。
-
開発・テスト環境
開発・テスト環境では、FEとBEインスタンスを混在してデプロイできます。以下のガイドラインに従ってください:
-
検証テスト環境では、1つのFEと1つのBEを単一サーバーにデプロイできますが、同一マシンに複数のFEとBEインスタンスをデプロイすることは推奨されません。
-
データの3レプリカが必要な場合は、最低3台のサーバーが必要で、各サーバーに1つのBEインスタンスをデプロイします。
モジュール CPU メモリ ディスク ネットワーク 最小インスタンス数 Frontend 8コア以上 8 GB以上 SSDまたはSATA、10 GB以上 ギガビット/10ギガビット 1 Backend 8コア以上 16 GB以上 SSDまたはSATA、50 GB以上 ギガビット/10ギガビット 1 -
-
本番環境
本番環境では、FEとBEインスタンスを独立してデプロイすることを推奨します。以下のガイドラインに従ってください:
-
リソースが限られており、FEとBEを同一サーバーに配置する必要がある場合は、FEとBEデータを別々のハードドライブに保存することをお勧めします。
-
BEノードは複数のハードドライブで構成でき、単一のBEインスタンスが複数のHDDまたはSSDディスクを利用できます。
推奨サーバー仕様は以下の通りです:
モジュール CPU メモリ ディスク ネットワーク 最小インスタンス数 Frontend 16コア以上 64 GB以上 SSDまたはRAIDカード、100 GB以上 10ギガビット 1 Backend 16コア以上 64 GB以上 SSDまたはSATA、100 GB以上 10ギガビット 3 -
ディスク容量計算
Dorisクラスターでは、FE(Frontend)は主にメタデータストレージに使用され、メタデータ編集ログやイメージが含まれます。BE(Backend)ディスク容量は主にデータの保存に使用され、ビジネス要件に基づいて計算する必要があります。
| コンポーネント | ディスク容量説明 |
|---|---|
| FE | 100 GB以上のストレージ容量を確保し、SSDディスクを使用することを推奨します。 |
| BE | DorisはデフォルトでLZ4圧縮を使用します。圧縮率は約0.3〜0.5です。ディスク容量は総データ量 * 3(3レプリカの場合)として計算し、バックエンドコンパクションと一時データ保存用に40%の容量を予約する必要があります。 |
Java環境チェック
すべてのDorisプロセスはJavaに依存します:
-
2.1以前のバージョン(2.1を含む):Java 8を使用してください、推奨バージョン:
jdk-8u352以降。 -
3.0以降のバージョン(3.0を含む):Java 17を使用してください、推奨バージョン:
jdk-17.0.10以降。