跳到主要内容

Apache Doris vs Elasticsearch

Elasticsearch 与 Apache Doris 在可观测性、网络安全和实时分析领域均有广泛应用。Elasticsearch 在存储资源与写入成本方面存在较高开销,相比之下,Apache Doris 利用其高效存储架构、存储压缩比等特性显著降低了资源消耗,并提供了更完善的分析能力以及更优的查询性能。

tencent-music

“基于 Apache Doris 构建的日志存储与分析平台上线后,相较于原有的 Elasticsearch 架构,成功减少了日志冗余存储,提高了日志数据存储效率,同时提供了强大且高效的日志检索与分析服务。”

亮点:

  • 节省 50% 资源投入
  • 提升 2-4 倍查询效率
  • 支持 Join,满足多种复杂的数据处理分析需求
tencent-music

“之前采用了多个组件构建安全分析系统,存在数据冗余存储等问题,借助 Apache Doris 统一架构后,系统在数据写入吞吐量、复杂查询响应速度以及存储效率等方面均实现显著优化。”

亮点:

  • 提升 4 倍写入速度
  • 提升 3 倍查询性能
  • 节省 50% 存储空间
tencent-music

“在引入 Doris 替换原有的 OLAP 数据库后,查询性能提升了 5 到 10 倍,同时并发处理能力达 2 倍提升。在 90% 的分析场景中,处理时间从原来的 10 分钟缩短到了 1 分钟以内。此外,资源消耗还减少到了原来的三分之一。”

亮点:

  • 提升 2 倍高并发报表分析
  • 节省 65% 存储空间
  • 支持标准 SQL,简化运维与使用成本

Apache Doris vs. ClickHouse

Apache DorisElasticsearch
开源开放
  • Apache License 2.0
  • 由 Apache 开源软件基金会运营
  • License 多次变更,从 Apache License 2.0 到 Elastic License,再到 AGPL License
  • 由 Elastic 公司运营
系统架构

    更灵活、更弹性:

  • 可满足严格的读写分离需求、不同业务隔离负载需求
  • 支持存算一体和存算分离

    有限弹性:

  • 采用线程组方式,仅可实现较弱的计算隔离
  • 仅支持存算一体
实时写入
  • 写入吞吐高,开销低:多副本一次索引
  • 两种写入方式,更易用:既支持外部 Push 写入也支持从消息队列中主动 Pull,无需借助外围工具
  • 支持 Logstash and Beats 等工具进行数据拉取
  • 写入吞吐低,开销高:多副本多次索引
  • 仅支持外部 Push 写入,Pull 写入方式需要借助 Logstash 外围工具
实时存储
  • 存储空间占用率低,整体压缩率高达 1:5 - 1:10
  • 主键模型支持写优化(MoW)与读优化(MoR), 数据去重时,写入性能损耗仅低于 10%
  • 聚合模型支持强一致同步、聚合数据更新,并支持与原始数据共存。
  • 提供更灵活的 Schema Change,满足业务动态需求
  • 存储空间占用率高,整体压缩率为 1:1.5
  • 主键模型仅支持写优化(MoW),数据去重时,写入性能损耗高达 3 倍
  • 聚合模型仅支持异步最终一致,聚合数据不可更新,不与原始数据共存
  • 有限 Schema Change
实时查询
  • 多种查询负载均有极速响应
  • 支持完整多表 Join 和物化视图、UDF、湖仓一体等复杂分析能力
  • 标准 SQL 查询,易于使用
  • 开放的 MySQL 生态
  • 点查性能高,但分析性能低
  • 不支持多表 Join 或更复杂的查询分析能力,仅能满足简单查询负载
  • 专用查询接口,使用定制 DSL ️,学习门槛高
  • 私有 Elasticsearch 生态

Performance Comparison

Observability & Cyber Security

HTTP Logs Benchmark 是 Elasticsearch 官方推出的日志存储与分析性能验证测试工具,采用真实 HTTP Logs 数据集,系统化评估索引构建效率、存储资源利用率及查询响应能力。

该测试包含 11 项典型日志分析操作(关键词检索、时间范围过滤、聚合计算、排序等),其测试场景与指标体系精准匹配可观测性监控与网络安全审计的核心需求,可作为相关领域 OLAP 系统选型的重要性能参照。

ClickBench  Benchmark

Real-Time Analytics

ClickBench 是专用于评估分析型数据库性能的基准测试工具,其核心验证场景聚焦于海量宽表处理效能,而非复杂多表关联场景。该性能测试采用头部网络分析平台真实业务数据构建,覆盖点击流分析、结构化日志处理等典型 OLAP 应用场景。

测试体系由特定查询集合构成,重点验证聚合运算能力与单表处理性能(不涉及复杂表关联操作),因此该测试成为评估实时数据库的标准之一,尤其适用于验证系统在 PB 级数据规模下的数据处理与实时分析能力。

注:右侧测试结果取自于 2024 年 12 月数据,最新对比数据可前往 ClickBench 查看。

ClickBench  Benchmark