メインコンテンツまでスキップ
に最終更新

OceanBase CDC による自動テーブル作成

実験的機能

Doris の継続的データロードは実験的機能であり、Doris 4.1.5 以降でサポートされます。

OceanBase CDC の自動テーブル作成は FROM OCEANBASE (...) TO DATABASE (...) を使用します。Doris は OBBinlog サービスを介して全量および増分データを読み取り、アップストリームのスキーマに基づいて Doris Unique Key テーブルを自動的に作成します。include_tables を使用して、単一テーブル、複数テーブル、またはデータベース内のすべてのテーブルを同期できます。

OceanBase CDC の継続的データロードは現在、OceanBase MySQL 互換モードと自動テーブル作成同期のみをサポートし、Oracle 互換モードおよび SQL マッピング同期はサポートしません。

適用シナリオ​

  • OceanBase のテーブル群またはデータベース全体を Doris にミラーリングする。
  • アップストリームのスキーマから Doris にターゲットテーブルと主キーを作成させる。
  • 初回の全量ロードを実行してから、増分変更を継続的に同期する。
  • SQL 式、行フィルター、データ変換を使用せずに、ターゲットテーブルの名前変更や列の除外を行う。

機能と制限​

項目説明
互換モードOceanBase MySQL 互換モードのみ
同期方式自動テーブル作成同期のみ。SQL マッピング同期はサポートされない
一貫性セマンティクスat-least-once
テーブルタイプアップストリームのテーブルには主キーが必要。自動作成される Doris テーブルは Unique Key モデルを使用する
権限Load 権限が必要。ターゲットテーブルが存在しない場合は Create 権限も必要
Schema ChangeADD COLUMN と DROP COLUMN を同期する。Schema Change 同期 を参照
データ型MySQL 互換の型変換を使用する。データ型マッピング を参照

前提条件​

ジョブを作成する前に、次を確認してください。

  1. OceanBase が MySQL 互換モードで実行されている。Doris はジョブの作成時に SHOW VARIABLES LIKE 'ob_compatibility_mode' を実行してモードを検証します。
  2. OBBinlog サービスがデプロイされ、利用可能になっている。その MySQL プロトコルエンドポイントに対して SHOW MASTER STATUS を実行すると、有効な binlog ファイルとポジションが返される。
  3. Doris FE、BE、および CDC Client から OBBinlog サービスにアクセスできる。
  4. 互換性のある MySQL Connector/J ドライバーが利用可能で、jdbc_url が jdbc:mysql:// で始まっている。
  5. ソースアカウントが、同期対象範囲のテーブル、スキーマ、binlog を読み取れる。
  6. 同期対象となるすべてのアップストリームテーブルに主キーがある。

クイックスタート​

手順 1: ロードジョブを作成する​

次の例では、source_db の users テーブルと orders テーブルを同期します。

CREATE JOB oceanbase_db_sync
ON STREAMING
FROM OCEANBASE (
"jdbc_url" = "jdbc:mysql://127.0.0.1:2883",
"driver_url" = "mysql-connector-j-8.4.0.jar",
"driver_class" = "com.mysql.cj.jdbc.Driver",
"user" = "root@test",
"password" = "123456",
"database" = "source_db",
"include_tables" = "users,orders",
"offset" = "initial"
)
TO DATABASE target_db (
"table.create.properties.replication_num" = "1"
);
  • jdbc_url は OBBinlog サービスの MySQL プロトコルポートを指します。デプロイ環境で設定したポートを使用してください。
  • offset = "initial" は、既存の行を先にロードしてから binlog の変更を継続的に同期することを示します。
  • include_tables を省略すると、database 内の条件を満たすすべてのテーブルが同期されます。
  • 単一 BE のデプロイでは、replication_num を 1 に設定します。本番環境では、クラスターの規模に応じてレプリカ数を設定してください。

手順 2: ロードステータスを確認する​

SELECT Name, Status, CurrentOffset, ErrorMsg
FROM jobs("type" = "insert")
WHERE Name = "oceanbase_db_sync";

ジョブが正常に実行されている場合、Status は RUNNING です。

+-------------------+---------+-----------------------------------------------+----------+
| Name | Status | CurrentOffset | ErrorMsg |
+-------------------+---------+-----------------------------------------------+----------+
| oceanbase_db_sync | RUNNING | {"file":"binlog.000001","pos":"154", ...} | NULL |
+-------------------+---------+-----------------------------------------------+----------+

手順 3: 増分同期を検証する​

OceanBase のソーステーブルに対して INSERT、UPDATE、または DELETE を実行した後、対応する Doris テーブルをクエリして、変更が同期されていることを確認します。

SELECT * FROM target_db.users ORDER BY id;

一時停止、再開、削除、および Task クエリ操作については、継続的データロードの概要 を参照してください。

データソースパラメーター​

パラメーター必須デフォルト説明
jdbc_urlはい-OBBinlog サービスの JDBC 接続文字列。jdbc:mysql:// で始まる必要があります。
driver_urlはい-MySQL Connector/J ドライバー jar のパス。ファイル名、ローカルの絶対パス、または HTTP URL をサポートします。
driver_classはい-MySQL JDBC ドライバークラス。例: com.mysql.cj.jdbc.Driver。
userはい-OceanBase のユーザー名。OceanBase で必要なユーザー名形式を使用してテナント情報を含めます。
passwordはい-OceanBase のユーザーパスワード。
databaseはい-OceanBase のデータベース名。
include_tablesいいえ-同期するテーブル名。複数のテーブルはコンマで区切ります。省略すると、データベース内のすべてのテーブルが同期されます。
exclude_tablesいいえ-同期しないテーブル名。複数のテーブルはコンマで区切ります。このパラメーターは include_tables が設定されていない場合にのみ有効です。
table.<table_name>.target_tableいいえソーステーブル名ソーステーブルの Doris ターゲットテーブル名を設定します。
table.<table_name>.exclude_columnsいいえ-ソーステーブルから非キー列を除外します。複数の列はコンマで区切ります。各列は存在している必要があり、主キー列は除外できません。
offsetいいえlatest起動位置。initial: 全量および増分同期。snapshot: 全量同期のみ。earliest: 利用可能な最も早い binlog ポジションから開始。latest: ジョブの起動後の変更のみを同期。{"file":"binlog.000001","pos":"154"} のような正確なポジションもサポートされます。
snapshot_split_sizeいいえ40960全量同期フェーズで各 split に含める行数。正の整数である必要があります。
snapshot_parallelismいいえ1全量同期フェーズで単一 Task が同時にスケジュールできる split の最大数。正の整数である必要があります。
skip_snapshot_backfillいいえtrueスナップショットフェーズ中の binlog バックフィルをスキップするかどうか。自動テーブル作成同期は at-least-once セマンティクスを提供します。
server_idいいえ自動生成CDC reader のサーバー ID。5400 のような単一値、または 5400-5408 のような閉区間をサポートします。範囲には snapshot_parallelism 以上の ID が含まれている必要があります。
ssl_modeいいえdisableSSL モード。有効な値は disable、require、verify-ca です。
ssl_rootcert条件付きで必須-ssl_mode が verify-ca の場合に必要です。FILE:<file_name> 形式を使用し、まず CREATE FILE でファイルをアップロードしてください。

schema、slot_name、publication_name パラメーターはサポートされていません。いずれかを指定すると、ジョブの作成に失敗します。

リファレンスマニュアル​

ロードステートメント​

CREATE JOB <job_name>
[job_properties]
ON STREAMING
[COMMENT <comment>]
FROM OCEANBASE (
[source_properties]
)
TO DATABASE <target_db> (
[target_properties]
);
モジュール説明
job_nameジョブ名。
job_propertiesmax_interval などの共通 Job パラメーター。
commentジョブコメント。
source_propertiesOceanBase データソースパラメーター。
target_propertiesDoris ターゲットデータベースパラメーター。

Doris ターゲットデータベースパラメーター​

パラメーターデフォルト説明
table.create.properties.*-Doris がテーブルを作成するときにテーブルプロパティを追加します。例: table.create.properties.replication_num。
load.strict_modefalseStream Load の strict mode を有効にするかどうか。
load.max_filter_ratio0サンプリングウィンドウで許容される最大フィルター比率。範囲は [0, 1] です。この値を超えるとジョブは一時停止します。

注意事項とベストプラクティス​

  • 本番環境で同期範囲を拡大する前に、少数のテーブルを使用して OBBinlog の接続性、型マッピング、増分レイテンシーを検証してください。
  • include_tables を使用して同期範囲を明示的に定義し、後からデータベースに追加された無関係なテーブルが自動的に含まれないようにします。
  • サポートされていない非キー列は table.<table_name>.exclude_columns で除外します。主キー列は除外できません。
  • サポートされていないスキーマ変更を行う前にジョブを一時停止し、Doris テーブルに互換性のある変更を適用してからジョブを再開してください。
  • CurrentOffset、LagBytes、ErrorMsg を監視して、ジョブが継続的に進行し、自動的に一時停止されていないことを確認してください。

FAQ​

Q1: OceanBase Oracle 互換モードはサポートされていますか?

いいえ。Doris はジョブの作成時に ob_compatibility_mode を確認し、MySQL 互換モード以外のモードを拒否します。

Q2: SQL マッピング同期はサポートされていますか?

いいえ。OceanBase が現在サポートしているのは、FROM OCEANBASE (...) TO DATABASE (...) 自動テーブル作成同期のみです。

Q3: ジョブの起動後に発生した変更のみを同期するにはどうすればよいですか?

offset を latest に設定します。ジョブが RUNNING になった後に存在する行は、スナップショットを通じてロードされません。

Q4: 既存のターゲットテーブルは上書きされますか?

いいえ。自動テーブル作成では、既に存在するターゲットテーブルはスキップされます。その主キーと列型がソーステーブルと互換性を持つことを確認してください。