Elasticsearchの代替

ElasticsearchとApache Dorisは、いずれもオブザーバビリティ、サイバーセキュリティ、リアルタイム分析で人気があります。しかし、Elasticsearchはストレージと書き込みリソースの面でコストが高くなる可能性があります。Apache Dorisは、効率的なストレージと高圧縮により、これらのコストを削減し、JOINや優れたクエリパフォーマンスなどの包括的な分析機能を提供します。

注目の移行事例

「ElasticsearchをVeloDB（Apache Dorisをベース）に置き換えることで、GuanceDBはデータ処理速度の向上とコスト削減において大きな前進を示しました。」

ハイライト：

• 70%のコスト削減
• 2-3倍高速な全文検索パフォーマンス
• Variant Data typeは、ログトレーシングにおける半構造化データの処理に柔軟性を提供

「従来は複雑なセキュリティ分析に複数のコンポーネントを使用していました... Dorisを統合ソリューションとして採用することで、データの書き込み、クエリパフォーマンス、ストレージ効率が大幅に改善されました。」

ハイライト：

• 4倍高速な書き込み速度
• 3倍優れたクエリパフォーマンス
• 50%のストレージ容量節約

「元のOLAPデータベースと比較して、クエリパフォーマンスは5-10倍改善し、同時実行性は倍増し、90%のケースで分析時間は10分から1分未満に短縮されました。これらはすべて、元のリソースの3分の1のみを使用して達成されました。」

ハイライト：

• 2倍のレポート分析同時実行性の向上
• 65%のストレージ容量削減
• 標準SQLでのクエリの簡素化

Apache Doris vs. Elasticsearch

	Apache Doris	Elasticsearch
オープンソースライセンス	Apache License 2.0の下でライセンス Apache Software Foundationにより管理されている安定したライセンス	Apache License 2.0からElastic License、そしてAGPL Licenseにライセンスが変更 Elastic NVにより管理されているライセンスの変更
アーキテクチャ	より高い柔軟性と弾力性： Linux CGroupsを活用したworkload groupによる厳格なワークロード分離、マルチテナンシーに最適 コンピュート・ストレージ分離モードと結合モード	弾力性が限られた従来のデプロイメント： Thread Groupによるソフトワークロード分離 コンピュートとストレージの分離をサポートしない
リアルタイムデータ書き込み	高スループット：1つのレプリカのみでのインデックス化 Kafka CDCを介したプルベースの取り込み、より簡単でシンプル LogstashとBeatsの出力プラグインをサポート	低スループット：複数のデータレプリカでのインデックス化 プルベースの取り込みにはLogstashやBeatsなどの追加ツールが必要で、利便性が劣る
リアルタイムデータストレージ	1:5 - 1:10までの圧縮率で低ストレージ消費 独自のモデルが書き込みと読み取りの両方の最適化をサポート（MoW & MoR）、キーでデータが重複しても書き込み速度の90%を維持 集約モデルは強い一貫性をサポートし、集約されたデータの更新を許可し、元のデータと共存 動的なビジネスニーズに対応する柔軟なSchema Change	1:1.5の圧縮率で高いストレージ消費 独自のモデルは書き込み最適化のみをサポートし、書き込みパフォーマンスが最大3倍低下 集約モデルは集約されたデータの更新を許可せず、元のデータとは共存しない Schema Changeの限定的なサポート
リアルタイムデータクエリ	さまざまなクエリワークロードで超高速 複数テーブルのJOINと複雑な分析の最適化をサポート 標準SQLで使いやすい オープンなMySQLエコシステム	ポイントクエリは得意だが、データ分析には適さない 複数テーブルのJOINや複雑な分析をサポートしない カスタムDSLのため、ユーザーにとって困難 独自のElasticsearchエコシステム

パフォーマンス比較

オブザーバビリティ & サイバーセキュリティ

HTTP Logsベンチマークは、ログストレージと分析用に設計されたElasticsearchの公式パフォーマンステストです。実世界のHTTPログデータセットを使用して、インデックスパフォーマンス、ストレージ効率、クエリパフォーマンスを評価します。

このベンチマークは、ログ分析シナリオで一般的に使用される11のクエリで構成されており、キーワード検索、時間範囲クエリ、集約、ソートが含まれています。その結果、オブザーバビリティとネットワークセキュリティ分析のコンテキストでパフォーマンスを評価するのに非常に適しています。

リアルタイム分析

ClickBenchは、分析データベースのパフォーマンスを評価するためのベンチマークツールです。複雑なマルチテーブルJOINではなく、大きなフラットテーブルのパフォーマンスをテストすることに焦点を当てています。主要なWebアナリティクスプラットフォームからの実世界のデータを使用し、クリックストリーム分析や構造化ログなどの典型的なシナリオをカバーしています。

このベンチマークは、集約操作と単一テーブルのパフォーマンスをテストする一連のクエリで構成されており、複雑なJOINは含まれていません。これにより、リアルタイム分析と大規模データ処理に最適化されたデータベースの評価に特に有用です。

注意：これらのテスト結果は、2024年12月にキャプチャされたアーカイブベンチマークです。現在のリアルタイム比較はClickBenchで管理されています。

その他の移行事例

• Why Apache Doris is a Better Alternative to Elasticsearch for Real-Time Analytics

• Creator of Talkie migrated from Loki and built a PB-scale logging system with Apache Doris

• How Tencent Music saved 80% in costs by migrating from Elasticsearch to Apache Doris

• Apache Doris for log and time series data analysis in NetEase, why not Elasticsearch and InfluxDB?