S3 导入概览

Doris 通过 Streaming Job + S3 TVF 将 S3 文件分批导入已有的 Doris 表。根据文件生成方式和是否需要持续运行，选择有序导入、通知导入或一次性导入。

选择导入模式

导入方式	模式	适用场景	结束条件
有序导入	ORDERED_LIST（默认）	文件名按字典序递增，如时间戳或补零序号	持续运行，无新文件时等待
通知导入	NOTIFICATION	文件名为 UUID 或文件乱序到达，通过 AWS S3 事件和独占 SQS 队列发现新文件	持续运行，队列暂时为空时等待
一次性导入	ONE_TIME	已准备好的静态历史文件、独立批次回补	最后一批事务提交后进入 FINISHED

通知导入不补导历史对象，且可能因重复通知而重复导入。三种模式均要求导入期间源对象可读且内容不变。各模式的准备步骤、SQL 示例、参数和使用限制见上表中的指南。

相关文档

• Amazon S3 数据导入方式选型：比较 Streaming Job、S3 Load 和 TVF + INSERT。
• 持续导入通用操作：查看作业和 Task 状态，以及暂停、恢复和删除作业。
• CREATE STREAMING JOB：创建语法和参数。
• ALTER JOB：修改作业的语法和限制。
• S3 TVF：S3 连接、凭证和文件格式配置。