BladePipe

BladePipeはリアルタイムでエンドツーエンドのデータレプリケーションツールです。30以上のデータベース、メッセージキュー、検索エンジン、キャッシュ、リアルタイムデータウェアハウス、データレイクなどの間でデータを移動し、3秒未満の超低レイテンシを実現します。効率性、安定性、スケーラビリティ、多様なデータベースエンジンとの互換性、ワンストップ管理、強化されたセキュリティ、そして複雑なデータ変換機能を備えています。

機能

BladePipeは視覚的な管理インターフェースを提供し、スキーママイグレーション、データマイグレーション、同期、検証および修正などを実現するDataJobsを簡単に作成できます。さらに、パラメータ設定により、より精密でカスタマイズされた設定をサポートしています。現在、BladePipeは以下のソースDataSourcesからDorisへのデータ移動をサポートしています：

ソースDataSource	スキーママイグレーション	データマイグレーション	データ同期	検証・修正
MySQL/MariaDB/AuroraMySQL	Yes	Yes	Yes	Yes
Oracle	Yes	Yes	Yes	Yes
PostgreSQL/AuroraPostgreSQL	Yes	Yes	Yes	Yes
SQL サーバー	Yes	Yes	Yes	Yes
Kafka	No	No	Yes	No
AutoMQ	No	No	Yes	No
TiDB	Yes	Yes	Yes	Yes
Hana	Yes	Yes	Yes	Yes
PolarDB-X	Yes	Yes	Yes	Yes

備考

より多くの機能とパラメータ設定については、BladePipe Connectionsを参照してください。

インストール

Install Worker (Docker)またはInstall Worker (Binary)の手順に従って、BladePipe Workerをダウンロードしインストールしてください。

例

MySQLインスタンスを例に、以下の部分ではMySQLからDorisにデータを移動する方法について説明します。

DataSourcesの追加

1. BladePipe Cloudにログインします。DataSource > Add DataSourceをクリックします。

2. タイプとしてそれぞれMySQLとDorisを選択し、設定フォームに適切に入力します。

3. Test Connectionをクリックします。接続が成功したら、Add DataSourceをクリックしてDataSourceを追加します。

DataJobの作成

1. DataJob > Create DataJobをクリックします。

2. ソースとターゲットのDataSourcesを選択し、Test ConnectionをクリックしてソースとターゲットのDataSourcesへの接続がどちらも成功していることを確認します。

3. DataJob タイプとしてIncrementalを、Full Dataオプションと共に選択します。

4. レプリケートするテーブルを選択します。

5. レプリケートするカラムを選択します。

6. DataJobの作成を確認します。

7. DataJobは自動的に実行されます。BladePipeは以下のDataTasksを自動的に実行します：

• Schema Migration: ソーステーブルのスキーマがターゲットインスタンスにマイグレーションされます。
• Full Data: ソーステーブルの既存データがすべてターゲットインスタンスに完全にマイグレーションされます。
• Incremental: 継続的なデータ変更がターゲットインスタンスに継続的に同期されます。