メインコンテンツまでスキップ
に最終更新

他の AP システムからのデータ移行

このドキュメントでは、他の AP（分析処理）システムから Apache Doris にデータを移行する一般的な方法を説明します。移行元のシステムと既存の技術スタックに適した方法を選ぶ際に役立ちます。

移行方法の概要​

移行元のシステムと利用可能なツールに応じて、他の AP システムから Doris にデータを移行する方法は主に三つあります。

移行方法適用場面主な構成要素
Multi-Catalog + Insert Into移行元が Hive、Iceberg、Hudi、または外部カタログへのマッピングに対応するその他のシステムである場合Multi-Catalog、Insert Into
中間ファイルを介した転送移行元が CSV などの一般的なデータ形式へのエクスポートに対応している場合データエクスポートツール、Doris のファイルインポート
Connector による連携既存の Spark または Flink ジョブがある場合、またはプログラムによる移行が必要な場合Spark/Flink AP Connector、Doris Connector

移行方法の詳細​

方法 1: Multi-Catalog で外部テーブルとしてマッピングしてからインポートする​

この方法は、Hive、Iceberg、Hudi など、Doris Multi-Catalog が認識できるシステムに適用できます。

  • Doris で Multi-Catalog を使用し、移行元のシステムを外部テーブルとしてマッピングします。
  • Insert Into を使用し、外部テーブルのデータを Doris の内部テーブルに書き込みます。

方法 2: 中間ファイルを介して転送する​

この方法は、移行元のシステムと直接連携しにくいものの、データのエクスポートには対応している場合に適用できます。

  • 元の AP システムから、CSV などの一般的なデータ形式でデータをエクスポートします。
  • エクスポートしたデータファイルを Doris にインポートします。

この方法は、Spark または Flink のデータ処理パイプラインがすでにある場合や、移行中にデータのクレンジングや変換が必要な場合に適用できます。

  • AP システムに対応する Spark または Flink Connector を使用して、移行元のデータを読み込みます。
  • Doris Connector を使用して、そのデータを Doris に書き込みます。

よくある質問​

Q: 使用している AP システムが上の一覧にない場合はどうすればよいですか？

この一覧に追加できる移行ツールや方法をご存じの場合は、dev@doris.apache.org までご連絡ください。

注記

この一覧に追加できる移行ツールをご存じの場合は、dev@doris.apache.org までご連絡ください。

Report issue