メインコンテンツまでスキップ
に最終更新

Kettle

Kettle Doris Plugin は、Kettle でほかのデータソースから Doris にデータを書き込むためのプラグインです。書き込みには Stream Load を使用します。

このプラグインは Doris の Stream Load 機能を使用してデータを取り込むため、Kettle サービスと併用する必要があります。すでに Kettle で ETL ジョブを管理しており、Kettle がサポートするデータソースから Doris に書き込みたい場合は、このプラグインを使用してデータを同期できます。

Kettle について​

Kettle は、Pentaho が当初開発したオープンソースの ETL（抽出、変換、ロード）ツールです。Pentaho 製品群の中核となるコンポーネントの一つで、主にデータ連携とデータ処理に使用されます。さまざまなソースからデータを抽出し、クレンジングや変換を行って、ターゲットシステムにロードできます。

詳しくは、Pentaho の公式サイトを参照してください。

作業の流れ​

Kettle Doris Plugin を使用して Doris にデータを書き込む手順は次のとおりです。

手順目的操作
1Kettle 環境を準備するKettle をダウンロードして展開するか、自分でビルドします。
2Doris プラグインを準備するDoris のソースコードで Kettle Doris Plugin をビルドします。
3プラグインをインストールするビルドした doris-stream-loader プラグインを Kettle の plugins ディレクトリにコピーします。
4ジョブを作成するKettle で Doris Stream Loader を選択し、Doris への接続とインポートのパラメータを設定します。
5同期を実行するジョブを開始し、Stream Load を使用して Doris にデータを書き込みます。

Kettle 環境の準備​

Kettle のダウンロードと起動​

  1. Kettle のダウンロードページにアクセスして Kettle をダウンロードします。
  2. ダウンロードしたパッケージを展開します。
  3. spoon.sh を実行して Kettle を起動します。

Kettle を自分でビルドする​

Kettle を自分でビルドする場合は、Pentaho Kettle のビルド手順を参照してください。

Kettle Doris Plugin のビルドとインストール​

プラグインのビルド​

Doris のソースコードディレクトリから extension/kettle に移動し、プラグインをビルドします。

cd doris/extension/kettle
mvn clean package -DskipTests

プラグインのインストール​

ビルドが完了したら、プラグインのパッケージを展開し、doris-stream-loader を Kettle の plugins ディレクトリにコピーします。

cd assemblies/plugin/target
unzip doris-stream-loader-plugins-9.4.0.0-343.zip
cp -r doris-stream-loader ${KETTLE_HOME}/plugins/

ジョブの作成と実行​

Doris Stream Loader ジョブの作成​

Kettle の Bulk loading にある Doris Stream Loader を選択し、ジョブを作成します。

Kettle で Doris Stream Loader ジョブを作成する

ジョブの実行​

Start をクリックしてジョブを実行し、データを同期します。

Kettle で Doris Stream Loader ジョブを実行する

パラメータ​

次の表に、Doris Stream Loader ジョブの主な設定項目を示します。

パラメータデフォルト値必須説明
Step name--Yステップの名前。
fenodes--YDoris FE の HTTP アドレス。複数のアドレスをカンマで区切って指定できます。
Database--Y書き込み先となる Doris のデータベース。
Target table--Y書き込み先となる Doris のテーブル。
Username--YDoris にアクセスするためのユーザー名。
Password--NDoris にアクセスするためのパスワード。
Maximum rows per import10000Nインポートごとの行数の上限。
Maximum bytes per import10485760 (10 MB)Nインポートごとのサイズの上限（バイト単位）。
Import retry count3Nインポートに失敗した後に再試行する回数。
Stream Load properties--NStream Load のリクエストヘッダー。
Delete modeNN削除モードを有効にするかどうか。デフォルトでは、Stream Load は挿入操作を実行します。削除モードを有効にすると、Stream Load によるすべての書き込みが削除操作になります。

Stream Load のその他のパラメータについては、Stream Load のドキュメントを参照してください。

よくある質問​

Kettle Doris Plugin を単独で使用できますか？​

いいえ。Kettle Doris Plugin は Kettle サービスと併用する必要があります。

fenodes には何を指定すればよいですか？​

fenodes には Doris FE の HTTP アドレスを指定します。FE アドレスが複数ある場合は、カンマで区切ってください。

削除モードは書き込みにどのような影響がありますか？​

デフォルトでは、Stream Load は挿入操作を実行します。削除モードを有効にすると、Stream Load によるすべての書き込みが削除操作になります。

Report issue