Kettle Doris Plugin

Kettle Doris Plugin

Kettle Doris Pluginは、KettleでStream Loadを通じて他のデータソースからDorisにデータを書き込むために使用されます。

このプラグインはDorisのStream Load機能を使用してデータをインポートします。Kettleサービスと組み合わせて使用する必要があります。

Kettleについて

KettleはオープンソースのETL（Extract, Transform, Load）ツールで、最初にPentahoによって開発されました。KettleはPentaho製品スイートの中核コンポーネントの1つで、主にデータ統合とデータ処理に使用され、様々なソースからのデータ抽出、データのクリーニングと変換、そしてターゲットシステムへのロードのタスクを簡単に完了できます。

詳細については、こちらを参照してください：https://pentaho.com/

ユーザーマニュアル

Kettleのダウンロードとインストール

Kettleダウンロードアドレス：https://pentaho.com/download/#download-pentaho ダウンロード後、解凍してspoon.shを実行してkettleを起動します 自分でコンパイルすることもできます。Compilation Chapterを参照してください

Kettle Doris Pluginのコンパイル

cd doris/extension/kettle
mvn clean package -DskipTests

コンパイル後、プラグインパッケージを解凍し、kettleのpluginsディレクトリにコピーします

cd assemblies/plugin/target
unzip doris-stream-loader-plugins-9.4.0.0-343.zip
cp -r doris-stream-loader ${KETTLE_HOME}/plugins/
mvn clean package -DskipTests

ジョブの構築

KettleのバッチローディングでDoris Stream Loaderを見つけて、ジョブを構築します

ジョブの実行開始をクリックして、データ同期を完了します

パラメータ説明

Key	Default Value	Required	Comment
Step name	--	Y	ステップ名
fenodes	--	Y	Doris FE httpアドレス、複数のアドレスをサポートし、カンマで区切ります
Database	--	Y	Doris書き込みデータベース
Target table	--	Y	Dorisの書き込みテーブル
Username	--	Y	Dorisにアクセスするユーザー名
Password	--	N	Dorisにアクセスするパスワード
Maximum number of rows for a single import	10000	N	単一インポートの最大行数
Maximum bytes for a single import	10485760 (10MB)	N	単一インポートの最大バイトサイズ
Number of import retries	3	N	インポート失敗後のリトライ回数
StreamLoad properties	--	N	Streamloadリクエストヘッダー
Delete Mode	N	N	削除モードを有効にするかどうか。デフォルトでは、Stream Loadは挿入操作を実行します。削除モードが有効になった後、すべてのStream Load書き込みは削除操作になります。