효율적인 중복 제거

중복 제거는 분석 워크로드에서 리소스를 가장 많이 사용하는 작업 중 하나입니다. Apache Doris는 COUNT DISTINCT를 대체하는 두 가지 전용 데이터 타입을 제공하여 메모리 사용량과 지연 시간을 줄이면서 중복을 제거합니다. 정확한 결과가 필요하면 BITMAP을, 저장 공간을 줄이는 대신 1%–2%의 오차를 허용할 수 있으면 HLL을 선택하세요.

정확한 중복 제거

BITMAP을 이용한 정확한 중복 제거

COUNT DISTINCT 대신 BITMAP 타입을 사용하여 정확하게 중복을 제거하면서 쿼리 속도를 높이고 메모리 및 디스크 사용량을 줄일 수 있습니다.

근사 중복 제거

HLL을 이용한 근사 중복 제거

HyperLogLog 기반의 근사 중복 제거는 오차를 1%–2% 이내로 제어하고 저장 공간을 적게 사용하므로 대규모 UV 및 cardinality 통계를 산출하는 환경에 적합합니다.