01
모던 데이터 웨어하우스,
설계 목표는 실시간 인사이트
하나의 실시간 분석 데이터베이스에서 배치와 스트리밍 데이터를 통합하고, BI를 가속하며, 신뢰할 수 있는 비즈니스 지표를 대규모로 제공합니다.
모던 데이터 웨어하우스가비즈니스를 바꾸는 이유.
웨어하우스가 통합되고 빠르며 실시간으로 동작하고 탄력적으로 확장되면 네 가지가 한꺼번에 달라집니다.
- 데이터에 대한 신뢰
- 분석 속도
- 의사 결정의 최신성
- 전체 운영 비용
통합된 비즈니스 뷰
주문, 고객, 결제, CRM, ERP, 광고, 로그 데이터가 신뢰할 수 있는 하나의 분석 계층으로 모여, 모든 팀이 같은 지표를 기준으로 일합니다.
더 빠른 BI와 셀프서비스 분석
1초 미만의 SQL 응답 덕분에 Tableau, Power BI, Superset, Looker에서 드릴다운과 애드혹 질문을 끊김 없이 이어 갈 수 있습니다.
실시간 모니터링
CDC, Kafka, Flink에서 데이터를 지속적으로 수집하므로 대시보드, 알림, 운영 보고서가 지금 일어나는 상황을 그대로 반영합니다.
확장성과 비용 효율
시스템, 파이프라인, 서빙 계층을 추가하지 않아도 분석 규모는 테라바이트에서 페타바이트로 커지고, BI 동시성도 함께 확장됩니다.
이미 프로덕션에서 가동 중입니다.
세 팀이 Apache Doris를 데이터 웨어하우스의 분석 핵심으로 운영하고 있습니다. 대규모 환경과 실제 동시 접속 부하 속에서 실시간 비즈니스 데이터를 다룹니다.
사례 01 · SF Technology
SF Express: BI와 애드혹 분석을 Presto에서 Apache Doris로
SF Technology는 하루 100만 건이 넘는 쿼리를 처리하는 주력 BI 플랫폼을 Presto에서 Apache Doris로 옮겼습니다. 모든 애드혹 및 BI 워크로드를 이전하면서 P95 지연 시간을 70% 가까이 줄였습니다.
성과
- P95 쿼리 지연 시간 약 70% 감소, 10초 이내 쿼리 비율은 72%에서 88%로 증가
- 하드웨어 48% 절감, 레이크하우스 쿼리의 데이터 캐시 적중률 96%
- 애드혹 및 BI 워크로드 100% 이전, SQL 호환성 97%
SF EXPRESS사례 02 · Xiaomi
Xiaomi: Apache Doris와 Apache Paimon으로 구축한 통합 레이크하우스
Xiaomi는 Presto, Druid, 여러 스토리지 포맷으로 흩어져 있던 환경을 Apache Doris와 Apache Paimon 기반의 단일 레이크하우스로 통합했고, 쿼리 속도는 이전보다 6배 빨라졌습니다.
성과
- 평균 쿼리 지연 시간을 60초에서 10초로, 집계 쿼리는 40초에서 8초로 단축
- Presto 대비 5배 높은 동시 처리량, 부하 상황에서 지연 시간 25~75% 감소
- 사용자 행동, 디바이스, 운영 분석 전반에서 핫 데이터는 Doris에, 콜드 데이터는 Paimon에 두는 단일 스택
XIAOMI사례 03 · Cainiao
Cainiao: 글로벌 물류를 위한 실시간 레이크하우스
“데이터 업데이트는 몇 초 안에 완료되고, 쿼리는 수백 밀리초 안에 응답할 수 있습니다.”
성과
- 실시간 데이터 플랫폼의 비용 90% 절감, 평균 응답 속도 72% 향상
- 1,000~2,000 QPS의 포인트 쿼리를 10~100ms에, 200~300 QPS의 다중 테이블 조인을 1초 미만에 처리
- 3개 리전에 걸친 25개 이상의 클러스터와 10,000개 이상의 CPU로 하루 8,000만 건의 택배에 대한 재고, 택배, 주문 현황을 추적
CAINIAO데이터 웨어하우스의 요구 사항과Apache Doris의 해법.
모던 데이터 웨어하우스가 잘 해내야 하는 다섯 가지와, 각각을 충족하는 Apache Doris의 구체적인 기능을 소개합니다.
데이터 웨어하우스를 위한 Apache Doris 기능
각 기능 항목은 해당 기능 문서로 연결됩니다. 그 이면의 엔지니어링 세부 사항은 다음에서 확인하세요: Apache Doris 블로그.
유연한 웨어하우스
02
실시간 수집과
업데이트
03
증분 갱신과
배치 실행
04
레이크하우스
컴퓨트 엔진
05