Elasticsearchの代替

Elasticsearch と Apache Doris はどちらもオブザーバビリティ、サイバーセキュリティ、リアルタイム分析において人気があります。しかし、Elasticsearch はストレージと書き込みリソースの面でコストがかかる場合があります。Apache Doris は効率的なストレージと高い圧縮により、これらのコストを削減し、JOIN や優れたクエリパフォーマンスなどの包括的な分析機能を提供します。

注目の移行事例

"Elasticsearch を VeloDB（Apache Doris によって提供）に置き換えることで、GuanceDB はデータ処理速度の向上とコスト削減において大きな進歩を遂げました。"

ハイライト：

• コスト70%削減
• フルテキスト検索パフォーマンス2-3倍向上
• Variant データ型によりログトレーシングの半構造化データを柔軟に処理

"以前は複雑なセキュリティ分析のために複数のコンポーネントを使用していました... Doris を統合ソリューションとして採用することで、データ書き込み、クエリパフォーマンス、ストレージ効率が大幅に改善されました。"

ハイライト：

• 書き込み速度4倍向上
• クエリパフォーマンス3倍改善
• ストレージ容量50%削減

"元の OLAP データベースと比較して、クエリパフォーマンスが5-10倍改善され、同時実行性が2倍になり、90%のケースで分析時間が10分から1分以内に短縮され、すべて元のリソースの3分の1だけで実現されています。"

ハイライト：

• レポート分析同時実行性2倍向上
• ストレージ容量65%削減
• 標準 SQL による簡素化されたクエリ

Apache Doris vs. Elasticsearch

	Apache Doris	Elasticsearch
オープンソースライセンス	Apache License 2.0 の下でライセンス Apache Software Foundation によって管理される安定したライセンス	ライセンスが Apache License 2.0 から Elastic License、そして AGPL License に変更 Elastic NV によって管理される変更されるライセンス
アーキテクチャ	より高い柔軟性と弾力性： workload group による厳密なワークロード分離、Linux CGroups で提供、マルチテナンシーに最適 コンピュート・ストレージ分離モードと結合モード	限定的な弾力性を持つ従来のデプロイメント： Thread Group によるソフトワークロード分離 コンピュートとストレージの分離をサポートしない
リアルタイムデータ書き込み	高いスループット：1つのレプリカのみでのインデックス作成 Kafka CDC 経由のプルベース取り込み、より簡単でシンプル Logstash と Beats の出力プラグインをサポート	低いスループット：複数のデータレプリカのインデックス作成 プルベース取り込みのために Logstash や Beats などの追加ツールが必要、利便性が劣る
リアルタイムデータストレージ	最大1:5〜1:10の圧縮率による低いストレージ消費 ユニークモデルは書き込みと読み取りの最適化（MoW & MoR）の両方をサポートし、キーによってデータが重複される際に書き込み速度の90%を維持 集約モデルは強い整合性をサポートし、集約データの更新を可能にし、元のデータと共存 動的なビジネス要件に対応する柔軟な Schema Change	1:1.5の圧縮率による高いストレージ消費 ユニークモデルは書き込み最適化のみをサポートし、書き込みパフォーマンスの損失は最大3倍 集約モデルは集約データの更新を許可せず、元のデータと共存しない Schema Change の限定的なサポート
リアルタイムデータクエリ	さまざまなクエリワークロードで超高速 複数テーブルの JOIN と複雑な分析の最適化をサポート 標準 SQL による使いやすさ オープンな MySQL エコシステム	ポイントクエリは得意だが、データ分析には適さない 複数テーブル JOIN や複雑な分析をサポートしない カスタム DSL によりユーザーには困難 独自の Elasticsearch エコシステム

パフォーマンス比較

オブザーバビリティ & サイバーセキュリティ

HTTP Logs ベンチマークは、ログストレージと分析のための公式 Elasticsearch パフォーマンステストです。実世界の HTTP ログデータセットを使用してインデックス作成パフォーマンス、ストレージ効率、クエリパフォーマンスを評価します。

このベンチマークは、キーワード検索、時間範囲クエリ、集約、ソートなど、ログ分析シナリオで一般的に使用される11のクエリで構成されています。その結果、オブザーバビリティとネットワークセキュリティ分析のコンテキストでのパフォーマンス評価に非常に適しています。

リアルタイム分析

ClickBench は分析データベースのパフォーマンスを評価するベンチマークツールです。複雑な複数テーブル結合ではなく、大きなフラットテーブルのパフォーマンステストに焦点を当てています。主要なウェブ分析プラットフォームからの実世界データを使用し、クリックストリーム分析や構造化ログなどの典型的なシナリオをカバーします。

このベンチマークは、集約操作と単一テーブルパフォーマンスをテストし、複雑な結合を含まないクエリセットで構成されています。これにより、リアルタイム分析と大規模データ処理に最適化されたデータベースの評価に特に有用です。

注：これらのテスト結果は2024年12月に取得されたアーカイブベンチマークです。現在のリアルタイム比較は ClickBench で管理されています。

その他の移行ストーリー

• Why Apache Doris is a Better Alternative to Elasticsearch for Real-Time Analytics

• Creator of Talkie migrated from Loki and built a PB-scale logging system with Apache Doris

• How Tencent Music saved 80% in costs by migrating from Elasticsearch to Apache Doris

• Apache Doris for log and time series data analysis in NetEase, why not Elasticsearch and InfluxDB?