Обзор загрузки из S3
Непрерывная загрузка Doris является экспериментальной функцией и поддерживается начиная с Doris 4.1.5.
Doris использует Streaming Job + S3 TVF, чтобы пакетно загружать файлы S3 в существующую таблицу Doris. Выберите упорядоченную загрузку, загрузку по уведомлениям или однократную загрузку в зависимости от того, как поступают файлы и должно ли задание продолжать работу. Загрузка по уведомлениям и однократная загрузка поддерживаются начиная с Doris 4.1.6.
Выбор режима загрузки
| Руководство | Режим | Когда использовать | Завершение |
|---|---|---|---|
| Упорядоченная загрузка | ORDERED_LIST (по умолчанию) | Ключи увеличиваются в лексикографическом порядке, например метки времени или счётчики с ведущими нулями | Выполняется непрерывно и ожидает появления новых файлов |
| Загрузка по уведомлениям | NOTIFICATION | Ключи UUID или файлы поступают в любом порядке; обнаружение выполняется через события AWS S3 и выделенную очередь SQS | Выполняется непрерывно и ожидает сообщений |
| Однократная загрузка | ONE_TIME | Подготовленный статический набор файлов или изолированная дозагрузка | Переходит в FINISHED после фиксации последнего пакета |
Загрузка по уведомлениям не выполняет дозагрузку исторических объектов, а повторные уведомления могут привести к повторной загрузке. Во всех режимах исходные объекты должны оставаться доступными для чтения и неизменяемыми во время загрузки. В каждом руководстве выше приведены инструкции по настройке, примеры SQL, параметры и ограничения.
Связанные документы
- Загрузка из Amazon S3: S3 Load и TVF + INSERT.
- Обзор непрерывной загрузки: просмотр заданий и задач, приостановка, возобновление и удаление.
- CREATE STREAMING JOB: синтаксис создания задания.
- ALTER JOB: синтаксис изменения задания.
- S3 TVF: подключение, учётные данные и параметры формата файлов.