メインコンテンツまでスキップ
に最終更新

CloudCanal

CloudCanal は、独自開発されたビジュアル操作型の自動データ移行・同期ツールです。一般的なリレーショナルデータベース、リアルタイムデータウェアハウス、メッセージミドルウェア、キャッシュデータベース、検索エンジンなど、30 種類以上のシステム間でデータを連携できます。高いリアルタイム性、正確な連携、安定性と拡張性、ワンストップの運用、ハイブリッドデプロイ、複雑なデータ変換に対応しています。

機能の説明​

CloudCanal のビジュアルインターフェースを使用すると、スキーマ移行、データの全量移行、増分同期、検証と修正を簡単に実行できます。また、パラメータを設定することで、より細かくカスタマイズしたデータ同期も可能です。現在、以下のデータソースから Doris へのデータ連携に対応しています。

接続元データソーススキーマ移行全量移行増分同期検証と修正
MySQL/MariaDB/AuroraMySQL対応対応対応対応
Oracle対応対応対応対応
PostgreSQL/AuroraPostgreSQL対応対応対応対応
SQL Server対応対応対応対応
Kafka非対応非対応対応非対応
AutoMQ非対応非対応対応非対応
TiDB対応対応対応対応
Hana対応対応対応対応
PolarDB-X対応対応対応対応
備考

その他の機能やパラメータ設定については、CloudCanal データ連携ドキュメントを参照してください。

ダウンロードとインストール​

新規インストール（Docker Linux/MacOS）を参照し、CloudCanal 公式サイトからプライベートデプロイ版をダウンロードしてインストールしてください。

使用例​

以下では、MySQL から Doris にデータを移行・同期する方法を例として説明します。

データソースの追加​

  1. CloudCanal コンソールにログインし、データソース管理 > データソースの追加をクリックします。

  2. MySQL と Doris のデータソースをそれぞれ選択し、対応する情報を入力します。 データソースの追加 -1

  3. 接続テストをクリックします。接続に成功したら、データソースの追加をクリックして、データソースの追加を完了します。 データソースの追加 -2

タスクの作成​

  1. 同期タスク > タスクの作成をクリックします。

  2. 接続元と接続先のデータソースを選択し、それぞれで接続テストをクリックします。 タスクの作成 -1

  3. データ同期を選択し、全量初期化にチェックを入れます。 タスクの作成 -2

  4. 同期するテーブルを選択します。 タスクの作成 -3

  5. 同期するカラムを選択します。 タスクの作成 -4

  6. タスクの作成を確定します。

  7. タスクは自動的に実行されます。CloudCanal は、次のステップで構成されるタスクの処理を自動的に行います。

  • スキーマ移行：接続元のテーブルスキーマを接続先に移行します。接続先に同名のテーブルが既に存在する場合、そのテーブルは無視されます。
  • データの全量移行：既存のデータをすべて接続先に移行します。中断した箇所からの再開に対応しています。
  • 増分データ同期：増分データを接続先のデータベースにリアルタイムで継続的に同期します（遅延は秒単位）。 タスクの作成 -5
Report issue