Apache Doris 개요 - Apache Doris

데이터 구성

Doris는 데이터를 어떻게 구성 하나요?

먼저 논리적 계층 구조를 살펴봅니다. 이어서 테이블이 클러스터 전체에 어떻게 나뉘어 분산되는지 알아봅니다.

Catalog데이터 소스
데이터베이스업무 영역
테이블스키마 + 속성
파티션논리적 범위
버킷물리적 분산

열 지향 저장

값을 열별로 저장하는 이유는 무엇일까요?

분석 쿼리는 많은 행에서 일부 열만 참조하는 경우가 많습니다. 열 지향 저장을 사용하면 Doris는 쿼리에 필요한 데이터만 읽고 처리할 수 있습니다.

I/O읽기량 감소

쿼리가 참조하는 열만 스캔합니다.

ZIP압축 효율 향상

자료형이 같고 비슷한 값은 더 작은 크기로 인코딩하기 쉽습니다.

CPU일괄 처리

연속된 벡터는 캐시 활용도를 높이고 SIMD를 사용할 수 있게 합니다.

테이블 모델

키가 중복되면 무엇이 달라질까요?

테이블 모델은 Doris가 모든 행을 보존할지, 값을 결합할지, 각 Key마다 하나의 논리적 행을 유지할지를 결정합니다.

DUPDuplicate Key

이벤트 상세 데이터와 로그에 적합하며, 입력된 모든 행을 보존합니다.

AGGAggregate Key

선언된 집계 함수를 사용해 Value 열을 병합합니다.

UNIUnique Key

업데이트와 CDC를 위해 각 Key마다 하나의 논리적 행을 유지합니다.

통합 아키텍처

전통적인 FE + BE 클러스터를 살펴봅시다.

통합 아키텍처에서는 Frontend 노드가 시스템을 조정하고, Backend 노드가 쿼리를 실행하며 tablet 복제본을 로컬 저장소에 영구 저장합니다.

SQL 클라이언트MySQL 프로토콜
Frontend파싱 + 계획 수립 + 조정
Backend저장 + 실행

스토리지와 컴퓨팅 분리 아키텍처

스토리지와 컴퓨팅이 분리되면 무엇이 달라질까요?

영구 데이터는 공유 저장소에 두고, 상태를 유지하지 않는 컴퓨팅 그룹은 독립적으로 확장하거나 축소할 수 있습니다.

01
SQL 및 메타데이터 계층
FE는 SQL 요청을 처리하고, Meta Service는 데이터 계층의 메타데이터를 관리합니다.
02
컴퓨팅 그룹
상태를 유지하지 않는 BE 노드는 작업을 실행하고 자주 사용하는 데이터를 캐시합니다.
03
공유 저장소
객체 저장소 또는 지원되는 분산 파일 시스템에 데이터를 영구 저장합니다.

아키텍처 선택

실제 제약 조건에서 출발하세요. 단지 더 새롭다는 이유로 선택하지 마세요.

통합형 배포와 분리형 배포는 각각 다른 운영 환경에 최적화되어 있습니다. 어느 아키텍처가 항상 더 나은 것은 아닙니다.

통합형

상태를 유지하는 BE 노드가 컴퓨팅을 수행하고 데이터를 로컬에 영구 저장합니다.

운영 복잡도 감소
로컬 스토리지 접근
컴퓨팅과 스토리지를 함께 확장

분리형

상태를 유지하지 않는 컴퓨팅 그룹이 영구 스토리지를 공유합니다.

독립적인 탄력적 확장
워크로드가 격리된 컴퓨팅 그룹
더 많은 플랫폼 구성 요소에 의존

핵심 엔진 모듈

두 엔진이 협력해 작업을 줄이고 처리 속도를 높입니다.

스토리지 엔진은 데이터와 접근 경로를 구성합니다. 쿼리 엔진은 SQL을 분산형 벡터화 파이프라인으로 변환합니다.

COL열 기반 스토리지

필요한 열을 읽고 분석 데이터를 압축합니다.

IDX인덱스

Prefix, Min/Max, Bloom, 역색인은 스캔 범위를 줄입니다.

MPP분산 처리

여러 Backend 노드에 쿼리 실행을 분산합니다.

OPT옵티마이저

규칙, 비용, 이력에 기반한 전략을 적용합니다.

쿼리 실행

SQL 텍스트가 분산 파이프라인으로 이어지는 과정을 살펴보세요.

쿼리는 검증과 최적화를 거쳐 프래그먼트와 인스턴스로 나뉘고, 여러 BE 노드에서 실행된 뒤 하나의 결과로 합쳐집니다.

파싱SQL 검증
계획 수립재작성 + 비용 추정
프래그먼트분산 작업 분할
실행벡터화 파이프라인 실행
반환결과 취합

최적화와 요약

가장 빠른 작업은 Doris가 생략할 수 있는 작업입니다.

Doris는 사전 계산, 논리적 재작성, 통계 기반 계획 수립, 런타임 필터링을 결합해 실행 전과 실행 중에 처리할 데이터의 양을 줄입니다.

MV구체화된 뷰

쿼리 재작성을 통해 사전 계산된 결과를 재사용합니다.

RBO규칙 기반

결정적인 논리 변환을 적용합니다.

CBO비용 기반

통계 정보를 사용해 물리 실행 계획을 비교합니다.

RF런타임 필터

필터를 스캔 단계로 밀어 넣어 행을 일찍 걸러냅니다.