メインコンテンツまでスキップ

Elasticsearchの代替

Elasticsearchとこれらの分野で人気ですが、ElasticsearchはストレージとApache DorisはObservability、サイバーセキュリティ、リアルタイム分析の分野で両方とも人気です。しかし、ElasticsearchはストレージとWriteリソースの面でコストが高くなる場合があります。Apache Dorisは効率的なストレージと高い圧縮率によってこれらのコストを削減し、JOINやクエリパフォーマンスの向上など、包括的な分析機能を提供します。

主要な移行事例

tencent-music

"ElasticsearchをVeloDB(Apache Dorisによるサポート)に置き換えることで、GuanceDBはデータ処理速度の向上とコスト削減において大きな前進を遂げました。"

ハイライト:

  • 70% コスト削減
  • 2-3倍高速な全文検索パフォーマンス
  • Variant Data型によりログトレースの半構造化データを柔軟に処理
tencent-music

"以前は複雑なセキュリティ分析のために複数のコンポーネントを使用していました...統一ソリューションとしてDorisを採用することで、データ書き込み、クエリパフォーマンス、ストレージ効率が大幅に向上しました。"

ハイライト:

  • 4倍高速な書き込み速度
  • 3倍向上したクエリパフォーマンス
  • 50% ストレージ容量の節約
tencent-music

"元のOLAPデータベースと比較して、クエリパフォーマンスは5-10倍向上し、同時実行数は2倍になり、元のリソースのわずか3分の1を使用しながら、90%のケースで分析時間が10分から1分未満に短縮されました。"

ハイライト:

  • 2倍のレポート分析同時実行数の向上
  • 65% ストレージ容量の削減
  • 標準SQLによるクエリの簡素化

Apache Doris vs. Elasticsearch

Apache DorisElasticsearch
オープンソースライセンス
  • Apache License 2.0でライセンス
  • Apache Software Foundationが管理する安定したライセンス
  • Apache License 2.0からElastic License、そしてAGPL Licenseへライセンス変更
  • Elastic NVが管理するため変動するライセンス
アーキテクチャ

    より高い柔軟性と弾力性:

  • Linux CGroupsによるworkload groupでの厳密なワークロード分離、マルチテナンシーに最適
  • コンピュート-ストレージ分離モードと結合モード

    限定的な弾力性を持つ従来のデプロイメント:

  • Thread Groupによるソフトワークロード分離
  • コンピュートとストレージの分離をサポートしない
リアルタイムデータ書き込み
  • 高スループット: 1つのレプリカでのみインデクシング
  • Kafka CDCを介したPull型取り込み、より簡単でシンプル
  • LogstashとBeats出力プラグインをサポート
  • 低スループット: 複数のデータレプリカのインデクシング
  • Pull型取り込みにはLogstashやBeatsなどの追加ツールが必要で不便
リアルタイムデータストレージ
  • 1:5 - 1:10の圧縮率による低ストレージ消費
  • 書き込みと読み込み最適化の両方をサポートする独自モデル(MoW & MoR)、キーによるデータ重複時に書き込み速度の90%を維持
  • 集約モデルは強整合性をサポートし、集約データの更新を許可し、元データと共存
  • 動的なビジネスニーズに対応する柔軟なSchema Change
  • 1:1.5の圧縮率による高ストレージ消費
  • 書き込み最適化のみをサポートする独自モデル、書き込みパフォーマンス損失は最大3倍
  • 集約モデルは集約データの更新を許可せず、元データと共存しない
  • Schema Changeの限定的なサポート
リアルタイムデータクエリ
  • 様々なクエリワークロードで超高速
  • マルチテーブルJOINと複雑な分析の最適化をサポート
  • 標準SQLで使いやすい
  • オープンなMySQLエコシステム
  • ポイントクエリは得意だが、データ分析には不向き
  • マルチテーブルJOINや複雑な分析をサポートしない
  • カスタムDSLのためユーザーには困難
  • 独自のElasticsearchエコシステム

パフォーマンス比較

Observability & サイバーセキュリティ

HTTP Logsベンチマークは、ログストレージと分析を目的としたElasticsearchの公式パフォーマンステストです。実世界のHTTPログデータセットを使用してインデクシングパフォーマンス、ストレージ効率、クエリパフォーマンスを評価します。

このベンチマークは、キーワード検索、時間範囲クエリ、集約、ソートなど、ログ分析シナリオで一般的に使用される11のクエリで構成されています。そのため、Observabilityとネットワークセキュリティ分析のコンテキストでパフォーマンスを評価するのに非常に適しています。

ClickBench  Benchmark

リアルタイム分析

ClickBenchは分析データベースのパフォーマンスを評価するベンチマークツールです。複雑なマルチテーブルJOINではなく、大規模な平坦テーブルのパフォーマンステストに焦点を当てています。主要なWebアナリティクスプラットフォームの実世界データを使用し、クリックストリーム分析や構造化ログなどの典型的なシナリオを扱います。

ベンチマークは集約操作と単一テーブルパフォーマンスをテストする一連のクエリで構成され、複雑なJOINは含まれません。これにより、リアルタイム分析と大規模データ処理に最適化されたデータベースの評価に特に有用です。

注意: これらのテスト結果は2024年12月にキャプチャされたアーカイブベンチマークです。現在のリアルタイム比較はClickBenchで維持されています。

ClickBench  Benchmark

その他の移行事例