BladePipe

BladePipeはリアルタイムエンドツーエンドデータレプリケーションツールで、30種類以上のデータベース、メッセージキュー、検索エンジン、キャッシュ、リアルタイムデータウェアハウス、データレークなどの間でデータを移動し、3秒未満の超低レイテンシを実現します。効率性、安定性、拡張性、多様なデータベースエンジンとの互換性、ワンストップ管理、セキュリティの強化、複雑なデータ変換機能を備えています。

機能

BladePipeは視覚的な管理インターフェースを提供し、DataJobsを簡単に作成してスキーマ移行、データ移行、同期、検証と修正などを実現できます。さらに、パラメータを設定することで、より細かくカスタマイズされた設定をサポートしています。現在BladePipeは、以下のソースDataSourcesからDorisへのデータ移動をサポートしています：

Source DataSource	Schema Migration	Data Migration	Data Sync	Verification & Correction
MySQL/MariaDB/AuroraMySQL	Yes	Yes	Yes	Yes
Oracle	Yes	Yes	Yes	Yes
PostgreSQL/AuroraPostgreSQL	Yes	Yes	Yes	Yes
SQL サーバー	Yes	Yes	Yes	Yes
Kafka	No	No	Yes	No
AutoMQ	No	No	Yes	No
TiDB	Yes	Yes	Yes	Yes
Hana	Yes	Yes	Yes	Yes
PolarDB-X	Yes	Yes	Yes	Yes

備考

より多くの機能とパラメータ設定については、BladePipe Connectionsを参照してください。

インストール

Install Worker (Docker)またはInstall Worker (Binary)の手順に従って、BladePipe Workerをダウンロードしてインストールしてください。

例

MySQLインスタンスを例に取り、以下の部分ではMySQLからDorisにデータを移動する方法について説明します。

DataSourcesの追加

1. BladePipe Cloudにログインします。DataSource > Add DataSourceをクリックします。

2. タイプとしてそれぞれMySQLとDorisを選択し、設定フォームに適切に入力します。

3. Test Connectionをクリックします。接続が成功したら、Add DataSourceをクリックしてDataSourceを追加します。

DataJobの作成

1. DataJob > Create DataJobをクリックします。

2. ソースとターゲットのDataSourcesを選択し、Test ConnectionをクリックしてソースとターゲットのDataSourcesの両方への接続が成功していることを確認します。

3. DataJob タイプにIncrementalを選択し、Full Dataオプションも併せて選択します。

4. レプリケートするテーブルを選択します。

5. レプリケートするカラムを選択します。

6. DataJobの作成を確認します。

7. DataJobは自動的に実行されます。BladePipeは以下のDataTasksを自動的に実行します：

• Schema Migration：ソーステーブルのスキーマがターゲットインスタンスに移行されます。
• Full Data：ソーステーブルの既存データがすべてターゲットインスタンスに完全移行されます。
• Incremental：継続的なデータ変更がターゲットインスタンスに継続的に同期されます。