Обзор загрузки из S3
Непрерывная загрузка в Doris — экспериментальная функция, поддерживаемая начиная с версии Doris 4.1.5.
Doris использует Streaming Job + S3 TVF, чтобы пакетно загружать файлы S3 в существующую таблицу Doris. Выберите упорядоченную загрузку, загрузку по уведомлениям или однократную загрузку в зависимости от порядка поступления файлов и необходимости продолжения работы задания. Загрузка по уведомлениям и однократная загрузка поддерживаются начиная с Doris 4.1.6.
Выбор режима загрузки
| Руководство | Режим | Когда использовать | Завершение |
|---|---|---|---|
| Упорядоченная загрузка | ORDERED_LIST (по умолчанию) | Ключи увеличиваются в лексикографическом порядке, например метки времени или счётчики с ведущими нулями | Выполняется непрерывно и ожидает появления новых файлов |
| Загрузка по уведомлениям | NOTIFICATION | Ключи UUID или файлы, поступающие в любом порядке; новые файлы обнаруживаются с помощью событий AWS S3 и выделенной очереди SQS | Выполняется непрерывно и ожидает сообщений |
| Однократная загрузка | ONE_TIME | Подготовленный статический набор файлов или отдельная дозагрузка данных | Переходит в FINISHED после фиксации последнего пакета |
Загрузка по уведомлениям не выполняет дозагрузку исторических объектов, а повторные уведомления могут привести к дублированию данных. Все режимы требуют, чтобы исходные объекты во время загрузки оставались доступными для чтения и неизменяемыми. В каждом из приведённых выше руководств приведены инструкции по настройке, примеры SQL, параметры и ограничения.
Связанные документы
- Загрузка данных из Amazon S3: S3 Load и TVF + INSERT.
- Обзор непрерывной загрузки: просмотр заданий и задач, приостановка, возобновление и удаление.
- CREATE STREAMING JOB: синтаксис создания задания.
- ALTER JOB: синтаксис изменения задания.
- S3 TVF: подключение, учётные данные и параметры формата файлов.