본문으로 건너뛰기
최종 수정: 에

하이브리드 검색

요약 Apache Doris 하이브리드 검색은 하나의 테이블에서 실행하는 단일 SQL 쿼리로 전체 텍스트 매칭과 벡터 유사도 검색을 결합합니다. 일반적으로 Elasticsearch와 벡터 데이터베이스에 나누어 저장하는 컬럼에 대해, 하나의 테이블에 역색인과 ANN 인덱스를 모두 구성합니다. 단일 WHERE 절에서 MATCH_ANY와 l2_distance_approximate를 함께 사용하여 필터링과 순위 산정을 한 번에 수행합니다.

Apache Doris 하이브리드 검색: 하나의 테이블에서 실행하는 단일 SQL 쿼리로 전체 텍스트 매칭과 벡터 유사도 검색을 결합하므로 별도의 검색 클러스터를 운영할 필요가 없습니다.

Apache Doris에서 하이브리드 검색을 사용하는 이유는 무엇인가요?​

Apache Doris 하이브리드 검색은 두 가지 검색 방식을 단일 SQL 쿼리로 통합하므로 데이터 웨어하우스와 함께 별도의 검색 클러스터를 운영할 필요가 없습니다. 검색 워크로드에서 한 가지 검색 방식만 사용하는 경우는 드뭅니다. "트레일용 경량 러닝화"를 검색하는 사용자는 "러닝"과 "트레일"이 정확히 일치하는 결과뿐 아니라 "오프로드"나 "험준한 지형"을 언급하는 상품처럼 의미상 일치하는 결과도 원합니다. 일반적으로 작업을 두 시스템에 나누어 처리하지만, 이 방식에는 다음과 같은 비용이 따릅니다.

  • 데이터 적재 파이프라인 두 개의 동기화를 유지해야 합니다. 동기화가 어긋나면 재현율이 달라집니다.
  • 서로 다른 쿼리 언어 두 개를 직접 작성한 결합 로직으로 연결해야 합니다.
  • 클러스터 두 개의 용량을 산정하고 모니터링하며 비용을 지불해야 합니다.

Apache Doris는 이를 하나의 테이블과 하나의 SQL 문으로 통합하며, 나머지 쿼리를 실행하는 것과 동일한 MPP 엔진에서 처리합니다.

Apache Doris 하이브리드 검색이란 무엇인가요?​

Apache Doris 하이브리드 검색은 별도의 엔진이 아니라 쿼리 패턴입니다. 하나의 테이블에 역색인(MATCH_* 연산자와 score()를 통한 BM25 점수 계산 지원)과 ANN 인덱스(l2_distance_approximate, inner_product_approximate 등의 근사 벡터 거리 함수 지원)를 모두 구성할 수 있습니다. Apache Doris 플래너는 하나의 쿼리에서 두 인덱스를 모두 읽고 순위가 매겨진 단일 결과 집합을 반환합니다.

주요 용어

  • 역색인: STRING 컬럼에 구성하는 전체 텍스트 인덱스입니다. 토크나이저로는 english, standard, 중국어 토크나이저 등이 있습니다.
  • ANN 인덱스: ARRAY<FLOAT> 컬럼에 구성하는 근사 최근접 이웃 인덱스입니다. 백엔드로 HNSW, IVF, IVF on-disk를 지원합니다.
  • 사전 필터링: Apache Doris의 기본 전략입니다. 스칼라 및 텍스트 조건을 먼저 적용한 다음, 조건을 통과한 행에서 벡터 거리를 기준으로 TopN을 선택합니다.

Apache Doris 하이브리드 검색은 어떻게 작동하나요?​

Apache Doris 하이브리드 검색은 데이터 적재 시 두 인덱스를 모두 구축한 다음, 역색인으로 필터링하고 ANN 인덱스로 순위를 매기는 단일 MPP 실행 계획에서 두 인덱스를 사용합니다.

  1. 데이터 적재 시 인덱스 구축. 데이터를 수집하면 역색인은 각 텍스트 컬럼을 토큰화하고, ANN 인덱스는 각 벡터를 기반으로 HNSW 그래프 또는 IVF 코드북을 구축합니다. 두 인덱스는 기본 테이블과 함께 동일한 스토리지 계층에 저장됩니다.
  2. 한 번에 실행 계획 수립. 쿼리에서 MATCH_* 연산자와 벡터 거리 함수를 함께 사용하면 플래너는 텍스트 조건을 역색인으로, 거리 함수를 ANN 인덱스로 전달합니다. 추가 쿼리나 클라이언트 측 조인은 필요하지 않습니다.
  3. 필터링 후 순위 산정. Apache Doris는 먼저 역색인으로 사전 필터링을 수행한 다음, 조건을 통과한 행 집합에 대해 ANN TopN을 실행합니다. 이는 일반적인 "ANN을 먼저 수행한 후 필터링"하는 패턴과 반대이며, 필터의 선택도가 높을 때 높은 재현율을 유지합니다.
  4. 상황에 따른 대체 실행. 필터의 선택도가 너무 높아 ANN 탐색에서 지나치게 많은 후보를 건너뛰게 되는 경우, Apache Doris는 필터링된 집합의 모든 벡터를 직접 비교하여 점수를 계산하는 방식으로 전환합니다. 동일한 SQL은 계속 작동하며 실행 경로만 달라집니다.
  5. 결과 반환. 정렬과 개수 제한이 적용된 단일 결과 집합을 반환합니다. 외부 결합 서비스나 애플리케이션 측에서 순위를 통합하는 코드가 필요하지 않습니다.

빠른 시작​

CREATE TABLE docs (
  id INT NOT NULL,
  embedding ARRAY<FLOAT> NOT NULL,
  body STRING NOT NULL,
  INDEX idx_body(body) USING INVERTED PROPERTIES("parser"="english"),
  INDEX idx_vec(embedding) USING ANN
    PROPERTIES("index_type"="hnsw","metric_type"="l2_distance","dim"="8")
) DUPLICATE KEY(id) DISTRIBUTED BY HASH(id) BUCKETS 1;

INSERT INTO docs VALUES
  (1, [0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8], 'this is about music'),
  (2, [0.2,0.1,0.5,0.3,0.9,0.4,0.7,0.1], 'sports news today'),
  (3, [0.9,0.8,0.7,0.6,0.5,0.4,0.3,0.2], 'latest music trend'),
  (4, [0.05,0.06,0.07,0.08,0.09,0.1,0.2,0.3], 'politics update');

SELECT id, body,
       l2_distance_approximate(embedding, [0.1,0.1,0.2,0.2,0.3,0.3,0.4,0.4]) AS dist
FROM docs
WHERE body MATCH_ANY 'music'   -- inverted index pre-filter
ORDER BY dist ASC              -- ANN TopN over the filtered rows
LIMIT 2;

예상 결과

+------+---------------------+------------+
| id   | body                | dist       |
+------+---------------------+------------+
|    1 | this is about music | 0.66332495 |
|    3 | latest music trend  |  1.2806249 |
+------+---------------------+------------+

MATCH_ANY 'music'는 body에 "music"이 포함된 행으로 후보 집합을 좁힙니다. 그런 다음 ANN 인덱스가 쿼리 벡터와의 거리를 기준으로 해당 행들의 순위를 매기고 가장 가까운 두 행을 반환합니다.

Apache Doris 하이브리드 검색은 언제 사용해야 하나요?​

별도의 벡터 데이터베이스를 운영하지 않고, 동일한 데이터에 대해 하나의 SQL 쿼리로 키워드 필터링과 벡터 유사도 검색을 수행해야 할 때 Apache Doris 하이브리드 검색을 사용하세요.

적합한 경우

  • 의미 기반 순위 산정 전에 키워드 필터(테넌트, 문서 유형, 날짜 범위)로 문서 집합을 좁혀야 하는 RAG 검색.
  • 구조화된 필터(브랜드, 가격, 재고 유무)와 제목 및 설명의 임베딩 유사도를 함께 사용하는 상품 또는 Catalog 검색.
  • 사용자가 "반드시 X를 포함해야 함"과 "Y와 유사함"을 자주 함께 사용하는 로그 및 문서 검색.
  • SQL 분석을 위해 이미 Doris에 데이터를 저장하고 있으며, 벡터 데이터베이스로 사본을 전송하고 싶지 않은 워크로드.

적합하지 않은 경우

  • 필터나 분석 없이 순수하게 ANN만 수행하는 십억 건 규모의 검색. 전용 벡터 DB가 메모리를 더 적게 사용하고 쿼리당 비용도 더 낮을 수 있습니다.
  • AGGREGATE KEY 또는 merge-on-write가 없는 UNIQUE KEY가 필요한 테이블. 현재 ANN 인덱스에는 DUPLICATE KEY 또는 MoW UNIQUE KEY 테이블이 필요합니다.
  • NULL을 허용하는 벡터 컬럼. 벡터 컬럼은 NOT NULL ARRAY<FLOAT>여야 하며, 인덱스와 일치하는 고정 차원을 가져야 합니다.
  • 두 점수 계산 방식의 결과를 Reciprocal Rank Fusion으로 결합해야 하는 워크로드. 단일 패스 패턴은 키워드 사전 필터링 후 벡터 거리를 기준으로 순위를 매깁니다. BM25 순위와 벡터 순위를 결합하려면 Reciprocal Rank Fusion의 두 목록을 사용하는 SQL 패턴을 사용하세요.

다른 방식과의 비교​

항목Doris 하이브리드 검색Elasticsearch + 벡터 DB벡터 DB만 사용
데이터 적재 파이프라인하나두 개, 동기화 유지하나
쿼리 경로SQL 하나애플리케이션 측 결합API 하나
필터 표현력SQL 전체 기능(조인, 범위, 집계)DSL, 제한적인 조인태그 및 메타데이터만 지원
동일한 데이터에 대한 분석MPP SQL 전체 기능제한적없음

Doris의 하이브리드 검색은 동일한 데이터에 대한 조인이나 집계가 이미 필요한 경우에 효과적입니다. 매우 큰 규모에서 순수한 벡터 조회만 수행한다면 일반적으로 전용 벡터 DB가 운영하기 더 간단합니다.

더 읽어보기​

  • 벡터 인덱스: 하이브리드 검색에서 벡터 검색을 지원하는 ANN 인덱스입니다.
  • 전체 텍스트 검색: 토크나이저와 MATCH_* 연산자 계열을 포함한 역색인 측 기능입니다.
  • BM25 관련성 점수 계산: score()가 텍스트 매칭 결과의 순위를 매기는 방식입니다. 두 점수 계산 방식을 사용하는 패턴에서는 벡터 거리와 함께 사용합니다.
  • Reciprocal Rank Fusion: 단일 패스 결합만으로 충분하지 않을 때 BM25 순위와 벡터 순위를 결합하는 SQL 패턴입니다.
  • 임베딩: EMBED()가 ANN 인덱스에서 읽는 벡터를 생성합니다.
  • 벡터 인덱스 개요: 인덱스 속성과 쿼리 패턴에 대한 전체 참조 문서입니다.
  • 역색인 개요: 토크나이저, MATCH 연산자, 분석기 선택 사항을 설명합니다.
  • 벡터 검색 실무 가이드: 데이터 준비부터 튜닝까지 전 과정을 안내합니다.
  • Doris의 AI: 하이브리드 검색이 Doris의 다른 AI 기능과 어떻게 연계되는지 설명합니다.
Report issue