BladePipe

BladePipeはリアルタイムのエンドツーエンドデータレプリケーションツールで、30以上のデータベース、メッセージキュー、検索エンジン、キャッシュ、リアルタイムデータウェアハウス、データレイクなどの間でデータを移動し、3秒未満の超低レイテンシを実現します。効率性、安定性、拡張性、多様なデータベースエンジンとの互換性、ワンストップ管理、セキュリティ強化、複雑なデータ変換機能を特徴としています。

機能

BladePipeはビジュアル管理インターフェースを提供し、DataJobsを簡単に作成してスキーマ移行、データ移行、同期、検証と修正などを実現できます。さらに、パラメータを設定することで、より細かくカスタマイズされた設定がサポートされています。現在、BladePipeは以下のソースDataSourcesからDorisへのデータ移動をサポートしています：

Source DataSource	Schema Migration	Data Migration	Data Sync	Verification & Correction
MySQL/MariaDB/AuroraMySQL	Yes	Yes	Yes	Yes
Oracle	Yes	Yes	Yes	Yes
PostgreSQL/AuroraPostgreSQL	Yes	Yes	Yes	Yes
SQL サーバー	Yes	Yes	Yes	Yes
Kafka	No	No	Yes	No
AutoMQ	No	No	Yes	No
TiDB	Yes	Yes	Yes	Yes
Hana	Yes	Yes	Yes	Yes
PolarDB-X	Yes	Yes	Yes	Yes

備考

より多くの機能とパラメータ設定については、BladePipe Connectionsを参照してください。

インストール

Install Worker (Docker)またはInstall Worker (Binary)の手順に従って、BladePipe Workerをダウンロードしてインストールしてください。

例

MySQLインスタンスを例に、以下の部分ではMySQLからDorisにデータを移動する方法を説明します。

DataSourcesの追加

1. BladePipe Cloudにログインします。DataSource > Add DataSourceをクリックします。

2. タイプとしてそれぞれMySQLとDorisを選択し、設定フォームを適切に入力します。

3. Test Connectionをクリックします。接続が成功したら、Add DataSourceをクリックしてDataSourceを追加します。

DataJobの作成

1. DataJob > Create DataJobをクリックします。

2. ソースとターゲットのDataSourcesを選択し、Test Connectionをクリックして、ソースとターゲットのDataSourcesへの接続が両方とも成功していることを確認します。

3. DataJob タイプにIncrementalを選択し、Full Dataオプションも一緒に選択します。

4. レプリケートするテーブルを選択します。

5. レプリケートするカラムを選択します。

6. DataJobの作成を確認します。

7. DataJobは自動的に実行されます。BladePipeは以下のDataTasksを自動的に実行します：

• Schema Migration：ソーステーブルのスキーマがターゲットインスタンスに移行されます。
• Full Data：ソーステーブルの既存データがすべてターゲットインスタンスに完全移行されます。
• Incremental：継続的なデータ変更がターゲットインスタンスに継続的に同期されます。