メインコンテンツまでスキップ
に最終更新

S3 データロードの概要

実験的機能

Doris の継続的データロードは実験的機能であり、Doris 4.1.5 以降でサポートされます。

Doris は Streaming Job + S3 TVF を使用して、S3 ファイルを既存の Doris テーブルにバッチ単位で取り込みます。ファイルの到着方法とジョブを継続実行するかどうかに応じて、順序付き、通知、または一度限りの取り込みを選択します。通知取り込みと一度限りの取り込みは、Doris 4.1.6 以降でサポートされます。

取り込みモードを選択する​

ガイドモード使用するタイミング完了条件
順序付き取り込みORDERED_LIST(デフォルト)キーが辞書順で増加する場合(タイムスタンプやゼロ埋めカウンタなど)継続的に実行され、新しいファイルを待機
通知取り込みNOTIFICATIONUUID キーや任意の順序で到着するファイルを、AWS S3 イベントと専用 SQS キューを通じて検出する場合継続的に実行され、メッセージを待機
一度限りの取り込みONE_TIME準備済みの静的ファイルセットまたは独立したバックフィル最後のバッチがコミットされた後に FINISHED に移行

通知取り込みでは過去のオブジェクトのバックフィルは行われず、通知が重複するとデータが重複して取り込まれる可能性があります。すべてのモードで、取り込み中にソースオブジェクトを読み取り可能で変更されない状態に維持する必要があります。各ガイドには、セットアップ手順、SQL の例、パラメータ、制限事項が記載されています。