環境チェック
Dorisをデプロイする際は、ハードウェアおよびソフトウェア環境について以下のチェックを実行する必要があります:
-
ハードウェア環境チェック
-
推奨サーバー構成
-
ディスク容量計算
-
Java環境チェック
ハードウェア環境チェック
ハードウェア環境チェックでは、以下のハードウェア条件を確認する必要があります:
| チェック項目 | 期待結果 |
|---|---|
| CPU | AVX2命令セットをサポートしている必要があります。 |
| メモリ | CPU数の少なくとも4倍を推奨。 |
| ストレージ | SSDを推奨。 |
| ファイルシステム | ext4またはxfsファイルシステム。 |
| ネットワークカード | 10ギガビットネットワークカード。 |
CPUチェック
Dorisをインストールする際は、AVX2の並列化機能を活用してクエリを高速化するため、AVX2命令セットをサポートするマシンを選択することを推奨します。
マシンがAVX2命令セットをサポートしているかを確認するには、以下のコマンドを実行してください:
cat /proc/cpuinfo | grep avx2
マシンがAVX2命令セットをサポートしていない場合は、AVX2なしのDorisインストールパッケージを使用してデプロイできます。
メモリチェック
Dorisには厳格なメモリ制限はありません。一般的に、本番環境では、以下の推奨事項に基づいてメモリサイズを選択できます:
| コンポーネント | 推奨メモリ構成 |
|---|---|
| FE | 最低16GB推奨。 |
| BE | メモリはCPUコア数の最低4倍である必要があります(例:16コアマシンの場合、最低64GBメモリ推奨)。CPUコア数の8倍のメモリでより良いパフォーマンスを実現できます。 |
ストレージチェック
Dorisでは、デプロイ時にデータをSSD、HDD、またはオブジェクトストレージに保存できます。
以下のシナリオでは、データストレージにSSDが推奨されます:
-
大規模データでの高並行性ポイントクエリシナリオ
-
大規模データでの高頻度データ更新シナリオ
ファイルシステムチェック
DorisではEXT4またはXFSファイルシステムの使用を推奨しています:
-
EXT4:EXT4ファイルシステムは優れた安定性、パフォーマンス、および断片化問題の軽減を提供します。
-
XFS:XFSファイルシステムは大規模データおよび高並行性書き込み操作の処理において優れたパフォーマンスを発揮し、高スループットアプリケーションに適しています。
ネットワークカードチェック
Dorisは並列処理のために異なるインスタンス間でデータパーティションを分散することを含み、これによりいくらかのネットワークリソースオーバーヘッドが発生します。Dorisのパフォーマンスを最適化し、ネットワークリソースオーバーヘッドを削減するため、デプロイ時には10ギガビットイーサネット(10GbE)またはより高速なネットワークの使用を強く推奨します。複数のネットワークカードが利用可能な場合、リンクアグリゲーションを使用して複数のネットワークカードを1つの仮想インターフェースに結合することを推奨します。これによりネットワーク帯域幅、冗長性、および複雑なバランシング機能が向上します。
サーバー構成推奨事項
Dorisはx86-64またはARM64アーキテクチャのサーバープラットフォームにデプロイできます。
-
開発およびテスト環境
開発およびテスト環境では、FEとBEインスタンスを混在してデプロイでき、以下のガイドラインに従います:
-
検証テスト環境では、1つのFEと1つのBEを単一サーバーにデプロイできますが、同一マシンに複数のFEおよびBEインスタンスをデプロイすることは推奨されません。
-
データの3レプリカが必要な場合、最低3台のサーバーが必要であり、各サーバーに1つのBEインスタンスをデプロイします。
モジュール CPU メモリ ディスク ネットワーク 最小インスタンス数 Frontend 8コア以上 8 GB以上 SSDまたはSATA、10 GB以上 ギガビット/10ギガビット 1 Backend 8コア以上 16 GB以上 SSDまたはSATA、50 GB以上 ギガビット/10ギガビット 1 -
-
本番環境
本番環境では、FEとBEインスタンスを独立してデプロイすることを推奨し、以下のガイドラインに従います:
-
リソースが限られており、FEとBEを同一サーバーに配置する必要がある場合、FEとBEのデータを別々のハードドライブに保存することを推奨します。
-
BEノードは複数のハードドライブで構成でき、単一のBEインスタンスが複数のHDDまたはSSDディスクを利用できます。
推奨サーバー仕様は以下の通りです:
モジュール CPU メモリ ディスク ネットワーク 最小インスタンス数 Frontend 16コア以上 64 GB以上 SSDまたはRAIDカード、100 GB以上 10ギガビット 1 Backend 16コア以上 64 GB以上 SSDまたはSATA、100 GB以上 10ギガビット 3 -
ディスク容量計算
Dorisクラスターでは、FE(Frontend)は主にメタデータストレージに使用され、メタデータ編集ログおよびイメージが含まれます。BE(Backend)ディスク容量は主にデータの保存に使用され、ビジネス要件に基づいて計算する必要があります。
| コンポーネント | ディスク容量説明 |
|---|---|
| FE | 100 GB以上のストレージ容量を予約することを推奨し、SSDディスクを使用してください。 |
| BE | DorisはデフォルトでLZ4圧縮を使用します。圧縮率は約0.3~0.5です。ディスク容量は総データ量 × 3(3レプリカの場合)として計算し、バックエンドコンパクションおよび一時データストレージ用に40%の容量を予約する必要があります。 |
Java環境チェック
すべてのDorisプロセスはJavaに依存します:
-
2.1以前のバージョン(2.1を含む):Java 8を使用してください。推奨バージョン:
jdk-8u352以降。 -
3.0以降のバージョン(3.0を含む):Java 17を使用してください。推奨バージョン:
jdk-17.0.10以降。