Руководство по операциям с данными в Apache Doris

Обзор операций

Выберите операцию с учётом жизненного цикла данных.

Загрузка, обновление, удаление и экспорт предъявляют разные требования к корректности и пропускной способности. Сначала определите, как должно измениться состояние данных.

ЗагрузкаЗаписать данные в систему
ОбновлениеИзменить логические строки
УдалениеУдалить данные в заданной области
ЭкспортВывести результаты
НаблюдениеПроверить каждое задание

Подсказка

Выбор способа зависит от характера нагрузки.

Прежде чем выбирать команду или API, определите расположение источника, размер пакета, допустимую задержку, порядок повторных попыток, семантику таблицы и место назначения результатов.

Сначала — атомарность

Разберитесь в границах транзакции и поведении меток для каждого способа загрузки, чтобы повторные попытки незаметно не дублировали данные и не приводили к их частичной записи.

Что нужно определить перед выбором способа загрузки?

Выберите ответ, чтобы проверить понимание.

Выбор способа загрузки

Подберите с учётом источника и требований к задержке способ загрузки.

Doris поддерживает синхронную загрузку через HTTP, непрерывное получение данных из Kafka, загрузку с помощью SQL и асинхронную пакетную обработку.

HTTPStream Load

Синхронная загрузка файлов или потоков с немедленным получением результата задания.

KFKRoutine Load

Непрерывное получение данных из Kafka с управлением ходом обработки.

SQLINSERT SELECT

Преобразование и загрузка данных из таблиц, Catalog или файловых TVF.

JDBCINSERT VALUES

Небольшие записи через SQL, когда простота важнее высокой пропускной способности.

GCGroup Commit

Объединение частых небольших записей для эффективного выполнения транзакций.

ASYNCПакетные задания

Отслеживание крупных асинхронных заданий по метке и состоянию.

Подсказка

Выбирайте способ, который подходит для конкретной задачи.

Используйте Stream Load для файлов или потоков HTTP, Routine Load для управляемого получения данных из Kafka, INSERT INTO SELECT для преобразований SQL и внешних источников, а Group Commit — для частых небольших записей.

Устаревший способ пакетной загрузки

Для объектного хранилища или HDFS по возможности используйте актуальные механизмы на основе Catalog или табличных функций. Считайте Broker Load устаревшим способом и сверяйтесь с рекомендациями для своей версии.

Какой способ подходит для непрерывной загрузки данных из Kafka?

Выберите ответ, чтобы проверить понимание.

Надёжная загрузка

Обеспечьте для каждой загрузки наблюдаемость и возможность повтора.

Метки, пороги качества, образцы ошибок, состояние задания и смещения в источнике превращают загрузку из отдельного запроса в управляемый процесс.

ОписатьФормат + сопоставление
ИдентифицироватьМетка + диапазон источника
ОтправитьАтомарная транзакция
ОтслеживатьСтроки + ошибки + состояние
ПовторитьВозобновить осознанно

Подсказка

Отправленное задание ещё не означает успешное выполнение.

Где это поддерживается, назначайте устойчивые метки, проверяйте число принятых и отфильтрованных строк, сохраняйте контрольные позиции источника и настройте оповещения об остановленных и завершившихся с ошибкой заданиях. Явно задавайте формат, сопоставление столбцов и параметры фильтрации.

Качество данных

Осознанно задавайте допустимую долю отфильтрованных данных. Высокий порог может скрыть ошибки во входных данных, а низкий — остановить пакет, который можно было бы обработать.

Что делает повторную попытку загрузки безопаснее?

Выберите ответ, чтобы проверить понимание.

Обновление

Пусть модель таблицы определяет семантику обновления.

Таблицы Unique Key поддерживают семантику UPSERT и SQL UPDATE; таблицы Aggregate Key обновляются через объявленные для них функции агрегации.

UPSERT всей строки

Записать новую логическую строку целиком.

Более простая семантика
Лучшая пропускная способность в базовом сценарии
Пропущенные значения требуют внимания

Обновление отдельных столбцов

Записать только выбранные поля широкой строки.

Меньший объём данных от клиента
Требуется поддерживаемый режим
Дополнительные затраты на слияние

Подсказка

Обновление всей строки и отдельных столбцов требует разных затрат.

При UPSERT всей строки передаётся полная логическая строка. Обновление отдельных столбцов позволяет передавать меньше полей для широких записей, но требует поддержки со стороны таблицы и настроек загрузки и может увеличить затраты на чтение или слияние.

Правила работы со схемой

При UPSERT всей строки пропущенные значения могут стать значениями по умолчанию или NULL. Используйте режим обновления отдельных столбцов, только если он соответствует нужной семантике и поддерживается реализацией таблицы.

Какая модель естественным образом представляет последнее состояние строк CDC?

Выберите ответ, чтобы проверить понимание.

Удаление

Выбирайте минимально необходимую безопасную область удаления.

DELETE с условием обрабатывает поддерживаемые фильтры строк, маркеры удаления при загрузке подходят для пакетного удаления, а TRUNCATE быстро очищает таблицу или раздел.

WHEREDELETE по условию

Удалить строки, соответствующие поддерживаемому ограничивающему условию.

BATCHЗагрузка с маркерами удаления

Удалить большой набор строк по ключам при загрузке данных.

ALLTRUNCATE

Очистить всю таблицу или раздел без фильтрации строк.

Подсказка

Область удаления определяет и скорость, и риск.

Применяйте условия удаления с учётом ограничений конкретной модели таблицы. Если ключей много, загружайте маркеры удаления управляемым пакетом. Очищайте раздел или таблицу целиком, только когда нужно удалить все данные в этой области.

Возможность восстановления

Проверьте, поддерживает ли целевая версия восстановление из корзины, и избегайте операций с FORCE, если постоянное удаление не требуется явно.

Какая операция подходит для удаления целого устаревшего временного раздела?

Выберите ответ, чтобы проверить понимание.

Экспорт

Подбирайте формат вывода под потребности получателя данных.

SELECT INTO OUTFILE экспортирует преобразованные результаты запроса, EXPORT выполняет более крупные асинхронные задания по извлечению данных, а mysqldump сохраняет схему или небольшие логические наборы данных.

SQLSELECT OUTFILE

Синхронный экспорт результатов с возможностью преобразования в CSV, Parquet или ORC.

JOBEXPORT

Асинхронное извлечение данных из больших таблиц или разделов.

DDLmysqldump

Экспорт схемы и небольших логических резервных копий с помощью инструментов MySQL.

Подсказка

Формат и место назначения — часть требований к экспорту.

Для аналитических систем выбирайте Parquet или ORC, а для широкой совместимости — CSV. Обеспечьте защиту учётных данных для доступа к объектному хранилищу или HDFS. Планируйте количество файлов и степень параллелизма с учётом потребностей систем, которые будут читать данные.

Синхронный и асинхронный экспорт

OUTFILE гибко настраивается и связан с запросом. За более крупными фоновыми заданиями проще следить через EXPORT. Ни один из этих способов не заменяет проверенную стратегию резервного копирования и восстановления.

Какой способ позволяет преобразовать экспортируемые результаты с помощью SQL?

Выберите ответ, чтобы проверить понимание.

Итоги по операциям с данными

Рассматривайте перемещение данных как управляемый переход состояния.

Надёжная операция имеет чётко заданную область действия и границу атомарности, наблюдаемый результат, стратегию повторных попыток и проверку результата в системах, получающих данные.

Область действияОпределить изменение состояния
ВыполнениеВыбрать подходящий способ
МониторингОтслеживать состояние + качество
ВосстановлениеПовторить операцию или компенсировать её
ПроверкаПодтвердить результат

Подсказка

Успешное выполнение — лишь часть того, что нужно предусмотреть.

Зафиксируйте ответственных, учётные данные, метки, позиции в источнике, правила контроля качества, оповещения и порядок очистки. Отработайте частичные сбои, а после завершения операции проверьте количество строк или соблюдение бизнес-инвариантов.

Перед следующим уроком

Когда надёжность данных обеспечена, следующий модуль поможет формулировать аналитические запросы и выбирать их структуру так, чтобы Doris выполняла их эффективно.

Что нужно сделать после успешного выполнения операции, чтобы завершить процесс?

Выберите ответ, чтобы проверить понимание.

Doris 101: Руководство по операциям с данными в Apache Doris

Выберите операцию с учётом жизненного цикла данных.

Подберите с учётом источника и требований к задержке способ загрузки.

Обеспечьте для каждой загрузки наблюдаемость и возможность повтора.

Пусть модель таблицы определяет семантику обновления.

Выбирайте минимально необходимую безопасную область удаления.

Подбирайте формат вывода под потребности получателя данных.

Рассматривайте перемещение данных как управляемый переход состояния.