倒排索引(文本搜索)
文本搜索用于在数据集中检索包含特定词项或短语的文档,并根据相关性对结果进行排序。
| 检索方式 | 优势 | 适用场景 |
|---|---|---|
| 文本搜索 | “找准”——可控、可解释的精确匹配,确保关键词命中与过滤条件的确定性 | 关键词检索、短语匹配、布尔条件过滤 |
| 向量搜索 | “找全”——利用语义相似性扩展召回范围 | 语义检索、近似匹配 |
在生成式 AI 应用中,尤其是检索增强生成(RAG)场景下,文本搜索与向量搜索相辅相成,两者协同:
- 兼顾语义广度与词法精度
- 既提升召回率,又保证结果的准确性与可解释性
- 共同构建可靠的检索基础,为大模型提供更准确、更相关的上下文
新建索引请使用 V2 或 V3。已有 V1 表仍能读取,但不能继续添加倒排索引,也不能通过 ALTER TABLE 将索引存储格式原地升级,需要重建表。FE 的生效配置若仍为 inverted_index_storage_format=V1,升级后将无法启动,须提前修改 fe.conf / fe_custom.conf。详见升级到 4.1.5。
Doris 文本搜索的演进
从 2.0.0 版本开始,Doris 引入了倒排索引(Inverted Index)以支持高性能的全文搜索。随着检索场景的多样化与查询复杂度的提升,Doris 在后续版本中持续扩展文本搜索能力。
| 阶段 | 版本 | 关键能力 |
|---|---|---|
| 基础阶段 | 2.0+ | 引入列级倒排索引;提供基础全文检索算子(MATCH_ANY、MATCH_ALL)和多语言分词器,支持在大规模数据集中进行高效的关键词检索 |
| 功能扩展 | 2.x → 3.x | 完善算子体系,新增短语匹配(MATCH_PHRASE)、前缀搜索(MATCH_PHRASE_PREFIX)、正则匹配(MATCH_REGEXP)等高级算子;3.1 版本引入自定义分词能力 |
| 能力增强 | 4.0+ | 引入 BM25 相关性打分与统一查询入口 SEARCH 函数,支持文本相关性排序与混合排序 |
其中,4.0+ 版本的核心增强包括:
- BM25 相关性打分:通过
score()函数根据文本相关性对结果进行排序,可与向量相似度分数结合,实现混合排序。 - SEARCH 函数:提供统一的查询 DSL,支持跨列查询与布尔逻辑组合,简化复杂查询构建,同时进一步提升查询性能。
Doris 核心文本搜索特性
1. 丰富的文本算子
Doris 提供了一套覆盖多种检索模式的全文搜索算子,可满足从基础关键词匹配到复杂短语查询的不同需求。
当前版本支持的主要算子:
| 算子 | 说明 | 典型场景 |
|---|---|---|
MATCH_ANY / MATCH_ALL | 任意词匹配(OR)与全词匹配(AND) | 通用关键词检索 |
MATCH_PHRASE | 精确短语匹配,支持自定义词距(slop)与顺序控制 | 邻近词语查询 |
MATCH_PHRASE_PREFIX | 短语前缀匹配 | 自动补全、增量搜索 |
MATCH_REGEXP | 基于正则表达式的匹配 | 模式化文本检索 |
这些算子可独立使用,也可通过 SEARCH() 函数组合构建复杂逻辑查询。例如(这里的 docs 表在下面 快速开始 一节里创建):
-- 精确短语搜索
SELECT * FROM docs WHERE content MATCH_PHRASE '倒排 索引';
-- 前缀搜索
SELECT * FROM docs WHERE content MATCH_PHRASE_PREFIX '数据 仓';
2. 自定义分词(3.1+)
在文本搜索中,分词方式直接决定了检索精度与召回效果。从 3.1 版本起,Doris 支持自定义分词器(Custom Analyzer),允许用户根据业务需求灵活定义分词流程。
自定义分词通过组合以下三类组件实现细粒度的文本控制:
- 字符过滤器(char_filter):在分词前进行符号替换、去除或标准化
- 分词器(tokenizer):选择分词算法,支持
standard、ngram、edge_ngram、keyword、icu等多种类型,用于处理不同语言和结构的文本 - 词元过滤器(token_filter):如
lowercase、word_delimiter、ascii_folding等,用于规范化和精炼分词结果
-- 示例:定义自定义分词器
CREATE INVERTED INDEX ANALYZER IF NOT EXISTS keyword_lowercase
PROPERTIES (
"tokenizer" = "keyword",
"token_filter" = "asciifolding, lowercase"
);
-- 在建表时使用自定义分词器
CREATE TABLE docs (
id BIGINT,
content TEXT,
INDEX idx_content (content) USING INVERTED PROPERTIES(
"analyzer" = "keyword_lowercase",
"support_phrase" = "true"
)
);
3. BM25 相关性打分(4.0+)
Doris 实现了 BM25(Best Matching 25) 算法用于文本相关性计算,为全文搜索提供排序与打分能力。
BM25 的核心特性:
- 基于词频(TF)、逆文档频率(IDF)和文档长度的概率模型
- 对长短文本均具良好鲁棒性
- 可通过参数
k1、b调整加权策略
SELECT id, title, score() AS relevance
FROM docs
WHERE content MATCH_ANY '实时 OLAP 分析'
ORDER BY relevance DESC
LIMIT 10;
4. SEARCH 函数:统一查询入口(4.0+)
SEARCH() 函数提供统一的文本检索语法入口,支持多列搜索与布尔逻辑组合,使复杂查询表达更简洁:
SELECT id, title, score() AS relevance
FROM docs
WHERE SEARCH('title:Machine AND tags:ANY(database sql)')
ORDER BY relevance DESC
LIMIT 20;
快速开始
步骤 1:创建带倒排索引的表
CREATE TABLE docs (
id BIGINT,
title STRING,
content STRING,
category STRING,
tags ARRAY<STRING>,
created_at DATETIME,
-- 文本搜索索引
INDEX idx_title(title) USING INVERTED PROPERTIES ("parser" = "chinese"),
INDEX idx_content(content) USING INVERTED PROPERTIES ("parser" = "chinese", "support_phrase" = "true"),
INDEX idx_category(category) USING INVERTED,
INDEX idx_tags(tags) USING INVERTED
)
DUPLICATE KEY(id)
DISTRIBUTED BY HASH(id) BUCKETS 10
PROPERTIES ("replication_num" = "1");
步骤 2:运行文本查询
-- 简单关键词搜索
SELECT * FROM docs WHERE content MATCH_ANY 'apache doris';
-- 短语搜索
SELECT * FROM docs WHERE content MATCH_PHRASE '全文检索';
-- 使用 SEARCH 进行布尔查询
SELECT * FROM docs
WHERE SEARCH('title:apache AND (category:数据库 OR tags:ANY(sql nosql))');
-- 基于相关性的排序
SELECT id, title, score() AS relevance
FROM docs
WHERE content MATCH_ANY '实时 分析 OLAP'
ORDER BY relevance DESC
LIMIT 10;
混合搜索:文本 + 向量
在 RAG 应用中结合文本搜索和向量相似度,可以实现更全面的检索:
-- 混合检索:语义相似度 + 关键词过滤
SELECT id, title, score() AS text_relevance
FROM docs
WHERE
-- 向量过滤实现语义相似度
cosine_distance(embedding, [0.1, 0.2, ...]) < 0.3
-- 文本过滤实现关键词约束
AND SEARCH('title:搜索 AND content:引擎 AND category:技术')
ORDER BY text_relevance DESC
LIMIT 10;
管理倒排索引
创建索引
-- 在建表时创建
CREATE TABLE t (
content STRING,
INDEX idx(content) USING INVERTED PROPERTIES ("parser" = "chinese")
);
-- 在现有表上创建
CREATE INDEX idx_content ON docs(content) USING INVERTED PROPERTIES ("parser" = "chinese");
-- 存算一体模式:为现有数据构建索引
BUILD INDEX idx_content ON docs;
存算分离模式下的历史数据
在 Doris 4.1.5 中,新增分词倒排索引(如上方 parser="chinese" 的索引)会通过 Schema Change 任务构建历史数据。等待任务达到 FINISHED 即可,该索引不需要再单独执行 BUILD INDEX:
SHOW ALTER TABLE COLUMN WHERE TableName = 'docs';
对于不分词倒排索引(parser="none")和 NGram BloomFilter 索引,默认的 enable_add_index_for_new_data=false 也会通过 Schema Change 构建历史数据。如果希望先为新增数据添加索引,再单独补建历史数据,可以将该变量设为 true。请在已选择可用计算组的会话中执行以下示例:
CREATE TABLE cloud_index_example (
id INT,
tag VARCHAR(64)
) DUPLICATE KEY(id)
DISTRIBUTED BY HASH(id) BUCKETS 1;
INSERT INTO cloud_index_example VALUES (1, 'doris'), (2, 'database');
SET enable_add_index_for_new_data = true;
CREATE INDEX idx_tag ON cloud_index_example(tag)
USING INVERTED PROPERTIES("parser" = "none");
BUILD INDEX ON cloud_index_example;
SHOW BUILD INDEX WHERE TableName = 'cloud_index_example';
构建任务异步执行。等待 SHOW BUILD INDEX 显示 FINISHED 后,历史数据才能使用该索引。云模式语法不指定索引名,BUILD INDEX idx_tag ON cloud_index_example 会被拒绝。以上 Doris 4.1.5 说明针对该版本已有的索引格式,不描述较新内核中独立的 SNII 构建路径。
删除索引
DROP INDEX idx_content ON docs;
查看索引
SHOW CREATE TABLE docs;
SHOW INDEX FROM docs;
常见问题
Doris 4.1.5 是否支持日文分词和拼写容错?
Doris 4.1.5 不支持内置 Kuromoji 分词器。可以用具有代表性的日文文本评估 icu 或 unicode 分词器,并通过 TOKENIZE() 检查输出;它们的分词方式与 Kuromoji 形态素分析不同。选择较新的分词器前,应核对实际部署版本的文档。
搜索算子支持前缀、正则及短语 slop 匹配,但这些能力不提供基于编辑距离的拼写纠错,不会自动将拼错的词扩展为词典中相近的词。