데이터 적재, 업데이트, 삭제, 내보내기는 정확성과 처리량에 관한 제약이 서로 다릅니다. 원하는 데이터 상태 변화부터 명확히 하세요.
Doris는 동기식 HTTP 데이터 적재, 지속적인 Kafka 데이터 수집, SQL 기반 데이터 수집, 비동기 배치 작업 흐름을 지원합니다.
파일이나 스트림을 동기식으로 적재하고 작업 결과를 즉시 받습니다.
진행 상태를 관리하면서 Kafka 데이터를 지속적으로 소비합니다.
테이블, Catalog 또는 파일 TVF의 데이터를 변환해 적재합니다.
대량 처리량보다 간편함이 중요한 소규모 SQL 쓰기에 적합합니다.
빈번한 소규모 쓰기를 효율적인 커밋으로 묶습니다.
규모가 큰 비동기 작업을 레이블과 상태로 추적합니다.
레이블, 품질 임계값, 오류 샘플, 작업 상태, 소스 오프셋을 활용하면 데이터 수집을 단순한 요청이 아닌 관리 가능한 작업 흐름으로 만들 수 있습니다.
Unique Key 테이블은 UPSERT 동작과 SQL UPDATE를 지원하고, Aggregate Key 테이블은 선언된 집계 함수를 통해 업데이트합니다.
새 논리적 행 전체를 씁니다.
열이 많은 행에서 선택한 필드만 씁니다.
조건부 DELETE는 지원되는 행 필터를 처리하고, 데이터 적재 시 사용하는 삭제 표시는 배치 삭제를 처리하며, TRUNCATE는 테이블이나 파티션을 빠르게 비웁니다.
지원되는 조건으로 범위를 지정해 일치하는 행을 삭제합니다.
데이터 적재를 통해 키를 기준으로 대량의 삭제 작업을 적용합니다.
행별 필터링 없이 테이블이나 분할 영역 전체를 비웁니다.
SELECT INTO OUTFILE은 변환된 쿼리 결과를 내보내고, EXPORT는 더 큰 규모의 비동기 추출 작업을 실행하며, mysqldump는 스키마나 소규모 논리 데이터셋을 추출합니다.
변환 가능한 결과를 CSV, Parquet 또는 ORC 형식으로 동기식 내보내기를 수행합니다.
더 큰 범위의 테이블이나 분할 영역에서 데이터를 비동기식으로 추출합니다.
MySQL 도구를 사용해 스키마를 내보내고 소규모 논리 백업을 만듭니다.
안정적인 작업에는 명확한 범위, 정확성이 보장되는 경계, 확인 가능한 결과, 재시도 전략, 후속 검증이 필요합니다.