Docker イメージを使用した Apache Doris のコンパイル
このドキュメントでは、Apache Doris の公式ビルドイメージを使用して Doris のソースコードをコンパイルする方法を説明します。このイメージはコミュニティが保守し、依存ライブラリの更新に合わせて速やかに更新しているため、toolchain やサードパーティーライブラリを手動でインストールする必要がありません。最も推奨されるコンパイル方法です。
Docker イメージを使用する方法は、ストレージとコンピュートを分離したモードでのコンパイルとデプロイにはまだ対応していません。
対象者とメリット・デメリット
| 項目 | 説明 |
|---|---|
| 対象者 | 依存関係を手動で設定せずに、ビルド環境をすばやく構築したい開発者 |
| メリット | thirdparty、toolchain、JDK がイメージにプリインストールされており、すぐに使用できる |
| デメリット | ローカルマシンで Docker が動作する必要がある。イメージのサイズが比較的大きい(約 3.3 GB) |
マシンで Docker を使用できない場合は、代わりに LDB Toolchain を使用したコンパイルを行ってください。
1. Docker のインストール
CentOS では、パッケージマネージャーから直接インストールできます。
yum install docker
その他のディストリビューションについては、Docker の公式インストールガイドを参照してください。
2. ビルドイメージの選択とダウンロード
Doris のバージョンごとに、対応するビルドイメージが異なります。apache/doris:build-env-ldb-toolchain-latest は master ブランチのコードをコンパイルするためのイメージで、開発の進行に合わせて継続的に更新されます。
| イメージタグ | 対応する Doris のバージョン | 備考 |
|---|---|---|
apache/doris:build-env-for-2.0 | 2.0.x | AVX2 命令セットに対応 |
apache/doris:build-env-for-2.0-no-avx2 | 2.0.x | AVX2 に対応していない CPU でも使用可能 |
apache/doris:build-env-for-2.1 | 2.1.x | AVX2 命令セットに対応 |
apache/doris:build-env-for-2.1-no-avx2 | 2.1.x | AVX2 に対応していない CPU でも使用可能 |
apache/doris:build-env-for-3.0 | 3.0.x | AVX2 命令セットに対応 |
apache/doris:build-env-for-3.0-no-avx2 | 3.0.x | AVX2 に対応していない CPU でも使用可能 |
apache/doris:build-env-for-3.1 | 3.1.x | AVX2 命令セットに対応 |
apache/doris:build-env-for-3.1-no-avx2 | 3.1.x | AVX2 に対応していない CPU でも使用可能 |
apache/doris:build-env-ldb-toolchain-latest | master | 開発ブランチの更新に追随 |
apache/doris:build-env-ldb-toolchain-no-avx2-latest | master | AVX2 に対応していない CPU でも使用可能 |
以下のコマンドはホスト上で実行します。この例では master をビルドします。リリースブランチをビルドする場合は、上の表に従ってブランチとイメージの両方を変更してください。これらの変数を引き続き使用できるよう、以降のホスト上のコマンドは同じシェルで実行してください。ARM64 と JDK の選択については、イメージ選択時の注意事項を参照してください。
DORIS_BRANCH=master
DORIS_BUILD_IMAGE=apache/doris:build-env-ldb-toolchain-latest
DORIS_SOURCE_DIR="$PWD/doris"
docker pull "$DORIS_BUILD_IMAGE"
3. Doris のコンパイル
3.1 Doris のソースコードのダウンロード
ホスト上で、選択したブランチを上で設定したディレクトリにクローンします。
git clone --branch "$DORIS_BRANCH" https://github.com/apache/doris.git "$DORIS_SOURCE_DIR"
3.2 ビルドコンテナの起動
mkdir -p "$HOME/.m2"
docker run -it --network=host \
--name doris-build \
-v "$HOME/.m2:/root/.m2" \
-v "$DORIS_SOURCE_DIR:/root/doris" \
--workdir /root/doris \
"$DORIS_BUILD_IMAGE"
このコマンドを実行すると、マウントしたソースディレクトリ /root/doris を作業ディレクトリとして、コンテナ内で Bash が開きます。
docker run の主なパラメーターは次のとおりです。
| パラメーター | 用途 |
|---|---|
-v | ホストのディレクトリをコンテナにマウントし、ソースコードや依存ライブラリを永続化する |
--name | 後で管理しやすいようにコンテナ名を指定する |
--workdir | マウントしたソースディレクトリでシェルを起動する |
--network | コンテナのネットワークモードを設定する。host はホストとネットワークスタックを共有するため、ポートマッピングは不要 |
推奨事項:
- ビルド成果物をホスト上に残し、コンテナ終了時に失われないように、Doris のソースディレクトリは必ずマウントしてください。
- コンテナを起動するたびに Maven の依存ライブラリをダウンロードし直さなくて済むよう、
.m2ディレクトリをマウントしてください。 - コンテナ内でサードパーティーライブラリをダウンロードするには、インターネットへのアクセスが必要です。
--network=hostモードを推奨します。
3.3 ビルドの実行
コンテナ内でデフォルトのビルドを実行します。
bash build.sh
ビルドが完了すると、成果物はソースディレクトリ内の output/ に生成されます。
マシンが AVX2 命令セットに対応しているか確認する方法
cat /proc/cpuinfo | grep avx2
出力が空でなければ、AVX2 に対応しています。
その他のビルドオプション
必要に応じて、デフォルトのビルドコマンドの代わりに次のいずれかを実行してください。
# For CPUs without AVX2
USE_AVX2=0 bash build.sh
# Build the Debug version of BE
BUILD_TYPE=Debug bash build.sh
イメージ選択時の注意事項
- イメージタグと Doris のバージョンは一対一で対応しています。対象ブランチに合うイメージを選び、異なるバージョンの組み合わせでコンパイルしないでください。
no-avx2イメージに含まれるサードパーティーライブラリは、AVX2 に対応していない CPU でも動作します。このイメージを使用する場合は、USE_AVX2=0オプションを指定してコンパイルする必要があります。- イメージの変更履歴については、thirdparty CHANGELOGを参照してください。
- 最新の
apache/doris:build-env-ldb-toolchain-latest(現在は x86_64 アーキテクチャのみに対応)には、JDK 8 と JDK 17 の両方が含まれています。バージョン 2.1 以前には JDK 8、バージョン 3.0 以降または master ブランチには JDK 17 を使用してください。 - ARM64 アーキテクチャ上で Docker を使用してコンパイルする場合は、まず ARM64 対応の Linux ベースイメージ(Ubuntu 22.04.5 LTS に対応する
apache/doris:base-latestなど)をダウンロードしてください。その後、Linux での直接コンパイルとARM プラットフォームでのコンパイルのドキュメントを参照して、依存ライブラリをインストールし、コンパイルしてください。
コンテナ内では、環境変数を使って JDK を切り替えます。
# Switch to JDK 8
export JAVA_HOME=/usr/lib/jvm/java-1.8.0
export PATH=$JAVA_HOME/bin/:$PATH
# Switch to JDK 17
export JAVA_HOME=/usr/lib/jvm/jdk-17.0.2/
export PATH=$JAVA_HOME/bin/:$PATH
4. 独自の開発用イメージのビルド
ベースイメージをカスタマイズする場合(ベースとなるディストリビューションの変更やデバッグツールの追加など)は、ソースコード内の docker/README.md を参照してください。
よくある質問
Q1: イメージのバージョンと Doris のバージョンが一致しない場合はどうなりますか?
イメージ内の thirdparty ライブラリと toolchain は、Doris のソースコードと密接に結び付いています。異なるバージョンを組み合わせると、コンパイル中に undefined reference や incompatible library などのリンクエラーが発生する可能性が非常に高くなります。必ず表に従って選択してください。
Q2: ビルド時に AVX2 not supported と表示される場合は?
ホストまたは実行先のマシンの CPU が AVX2 命令セットに対応していません。no-avx2 接尾辞が付いたイメージに切り替え、ビルド時に USE_AVX2=0 を設定してください。
Q3: docker pull でのイメージ取得が遅すぎる場合は?
Docker イメージのミラーアクセラレーターを設定するか、完全なパス docker.io/apache/doris:... を使用してください。
Q4: コンテナ内で Java ライブラリのダウンロードに失敗する場合は?
コンテナが --network=host を指定して起動されていること、および ~/.m2 ディレクトリがコンテナにマウントされていることを確認してください。プロキシやネットワークの分離によって Maven Central リポジトリにアクセスできなくなる場合があります。
Q5: Git で detected dubious ownership in repository と表示される場合は?
マウントしたソースディレクトリの所有者が、ホスト上の別のユーザーである可能性があります。ソースリポジトリを信頼できることを確認したうえで、コンテナ内でマウント先のパスを例外として追加してください。
git config --global --add safe.directory /root/doris
コンテナ内のマウント先を変更した場合は、/root/doris をそのパスに置き換えてください。