メインコンテンツまでスキップ

環境チェック

Dorisをデプロイする際、ハードウェアおよびソフトウェア環境について以下のチェックを実行する必要があります:

  • ハードウェア環境チェック

  • 推奨サーバー構成

  • ディスク容量計算

  • Java環境チェック

ハードウェア環境チェック

ハードウェア環境チェック時は、以下のハードウェア条件を確認する必要があります:

チェック項目期待される結果
CPUAVX2命令セットをサポートしている必要があります。
メモリCPUサイズの少なくとも4倍を推奨します。
ストレージSSDを推奨します。
ファイルシステムext4またはxfsファイルシステム。
ネットワークカード10ギガビットネットワークカード。

CPUチェック

Dorisをインストールする際は、AVX2命令セットをサポートするマシンを選択し、クエリアクセラレーションのためにAVX2のベクトル化機能を活用することを推奨します。

マシンがAVX2命令セットをサポートしているかどうかを確認するには、以下のコマンドを実行してください:

cat /proc/cpuinfo | grep avx2

マシンがAVX2命令セットをサポートしていない場合は、no AVX2 Dorisインストールパッケージをデプロイメントに使用できます。

メモリチェック

Dorisには厳格なメモリ制限はありません。一般的に、本番環境では、以下の推奨事項に基づいてメモリサイズを選択できます:

コンポーネント推奨メモリ構成
FE最低16GB推奨。
BEメモリはCPUコア数の最低4倍である必要があります(例:16コアマシンの場合、最低64GBメモリを推奨)。CPUコア数の8倍のメモリでより良いパフォーマンスを実現できます。

ストレージチェック

Dorisでは、デプロイメント時にSSD、HDD、またはオブジェクトストレージにデータを保存できます。

以下のシナリオでは、データストレージにSSDを推奨します:

  • 大規模データでの高並行性ポイントクエリシナリオ

  • 大規模データでの高頻度データ更新シナリオ

ファイルシステムチェック

DorisではEXT4またはXFSファイルシステムの使用を推奨します:

  • EXT4: EXT4ファイルシステムは優れた安定性、パフォーマンス、および断片化問題の少なさを提供します。

  • XFS: XFSファイルシステムは大規模データと高並行性書き込み操作の処理において優秀なパフォーマンスを発揮し、高スループットアプリケーションに適しています。

ネットワークカードチェック

Dorisでは、並列処理のために異なるインスタンス間でデータパーティションを分散するため、いくらかのネットワークリソースオーバーヘッドが発生します。Dorisのパフォーマンスを最適化し、ネットワークリソースオーバーヘッドを削減するため、デプロイメント時には10ギガビットイーサネット(10GbE)またはそれ以上の速度のネットワークを使用することを強く推奨します。複数のネットワークカードが利用可能な場合は、リンクアグリゲーションを使用して複数のネットワークカードを1つの仮想インターフェースに結合することを推奨します。これにより、ネットワーク帯域幅、冗長性、および複雑なバランシング機能が向上します。

サーバー構成推奨事項

Dorisはx86-64またはARM64アーキテクチャサーバープラットフォームにデプロイできます。

  • 開発およびテスト環境

    開発およびテスト環境では、FEとBEインスタンスを混在してデプロイできます。以下のガイドラインに従ってください:

    • 検証テスト環境では、1台のサーバーに1つのFEと1つのBEをデプロイできますが、同一マシン上に複数のFEとBEインスタンスをデプロイすることは推奨されません。

    • データの3レプリカが必要な場合は、最低3台のサーバーが必要で、各サーバーに1つのBEインスタンスをデプロイします。

    モジュールCPUメモリディスクネットワーク最小インスタンス数
    Frontend8コア以上8 GB以上SSDまたはSATA、10 GB以上ギガビット/10ギガビット1
    Backend8コア以上16 GB以上SSDまたはSATA、50 GB以上ギガビット/10ギガビット1
  • 本番環境

    本番環境では、FEとBEインスタンスを独立してデプロイすることを推奨します。以下のガイドラインに従ってください:

    • リソースが限られており、FEとBEを同一サーバーに配置する必要がある場合は、FEとBEのデータを別々のハードドライブに保存することをお勧めします。

    • BEノードは複数のハードドライブで構成でき、単一のBEインスタンスが複数のHDDまたはSSDディスクを利用できます。

    推奨サーバー仕様は以下の通りです:

    モジュールCPUメモリディスクネットワーク最小インスタンス数
    Frontend16コア以上64 GB以上SSDまたはRAIDカード、100 GB以上10ギガビット1
    Backend16コア以上64 GB以上SSDまたはSATA、100 GB以上10ギガビット3

ディスク容量計算

Dorisクラスターでは、FE(Frontend)は主にメタデータ編集ログや画像を含むメタデータストレージに使用されます。BE(Backend)のディスク容量は主にデータ保存に使用され、ビジネス要件に基づいて計算する必要があります。

コンポーネントディスク容量説明
FE100 GB以上のストレージ容量を確保することを推奨し、SSDディスクを使用してください。
BEDorisはデフォルトでLZ4圧縮を使用します。圧縮率は約0.3 - 0.5です。ディスク容量は総データ量 * 3(3レプリカ分)として計算し、バックエンドコンパクションおよび一時データストレージ用に40%の容量を確保する必要があります。

Java環境チェック

すべてのDorisプロセスはJavaに依存します:

  • バージョン2.1以前(2.1を含む): Java 8を使用してください。推奨バージョン:jdk-8u352以降。

  • バージョン3.0以降(3.0を含む): Java 17を使用してください。推奨バージョン:jdk-17.0.10以降。