Elasticsearchの代替

ElasticsearchとApache Dorisは、オブザーバビリティ、サイバーセキュリティ、リアルタイム分析において両方とも人気があります。しかし、Elasticsearchはストレージと書き込みリソースの面でコストが高くなる可能性があります。Apache Dorisは効率的なストレージと高圧縮を通じてこれらのコストを削減し、JOINや優れたクエリパフォーマンスなどの包括的な分析機能を提供します。

特集移行事例

「ElasticsearchをVeloDB（Apache Dorisを搭載）に置き換えることで、GuanceDBはデータ処理速度の向上とコスト削減において大きな進歩を示しています。」

ハイライト:

• 70%のコスト削減
• 2-3倍高速な全文検索パフォーマンス
• Variant データ型は、ログトレースにおける半構造化データを柔軟に処理

「以前は、複雑なセキュリティ分析のために複数のコンポーネントを使用していました...統一ソリューションとしてDorisを採用することで、データ書き込み、クエリパフォーマンス、ストレージ効率が大幅に改善されました。」

ハイライト:

• 4倍高速な書き込み速度
• 3倍優れたクエリパフォーマンス
• 50%のストレージ容量削減

「元のOLAPデータベースと比較して、クエリパフォーマンスが5-10倍向上し、同時実行性が2倍になり、90%のケースで分析時間が10分から1分未満に短縮され、元のリソースの3分の1で実現されています。」

ハイライト:

• 2倍のレポート分析同時実行性の向上
• 65%のストレージ容量削減
• 標準SQLによるクエリの簡素化

Apache Doris vs. Elasticsearch

	Apache Doris	Elasticsearch
オープンソースライセンス	Apache License 2.0の下でライセンスされている Apache Software Foundationによって管理されているため、安定したライセンス	ライセンスがApache License 2.0からElastic License、その後AGPL Licenseに変更 Elastic NVによって管理されているため、ライセンスが変化
アーキテクチャ	より高い柔軟性と弾力性: Linux CGroupsを活用したワークロードグループによる厳密なワークロード分離、マルチテナンシーに理想的 コンピュート・ストレージ分離と結合モード	限定的な弾力性を持つ従来のデプロイメント: Thread Groupによるソフトワークロード分離 コンピュートとストレージの分離をサポートしない
リアルタイムデータ書き込み	高スループット: 1つのレプリカでのみインデックス作成 Kafka CDCによるプルベースの取り込み、より簡単でシンプル LogstashとBeats出力プラグインをサポート	低スループット: 複数のデータレプリカのインデックス作成 プルベースの取り込みにはLogstashやBeatsなどの追加ツールが必要で、あまり便利ではない
リアルタイムデータストレージ	1:5から1:10までの圧縮率による低ストレージ消費 ユニークモデルは書き込みと読み込みの両方の最適化をサポート（MoW & MoR）、キーによってデータが重複した場合でも書き込み速度の90%を維持 集約モデルは強い一貫性をサポートし、集約データの更新を許可し、元のデータと共存 動的なビジネスニーズに対応する柔軟なSchema Change	1:1.5の圧縮比による高いストレージ消費 ユニークモデルは書き込み最適化のみをサポートし、書き込みパフォーマンスの損失は最大3倍 集約モデルは集約データの更新を許可せず、元のデータと共存しない Schema Changeのサポートが限定的
リアルタイムデータクエリ	さまざまなクエリワークロードで超高速 マルチテーブルJOINと複雑な分析の最適化をサポート 標準SQLで使いやすい オープンなMySQLエコシステム	ポイントクエリは得意だが、データ分析には適さない マルチテーブルJOINや複雑な分析をサポートしない カスタムDSLのためユーザーにとって困難 プロプライエタリなElasticsearchエコシステム

パフォーマンス比較

オブザーバビリティ＆サイバーセキュリティ

HTTP Logsベンチマークは、ログストレージと分析用に設計されたElasticsearchの公式パフォーマンステストです。実世界のHTTPログデータセットを使用してインデックスパフォーマンス、ストレージ効率、クエリパフォーマンスを評価します。

このベンチマークは、キーワード検索、時間範囲クエリ、集約、ソートなど、ログ分析シナリオで一般的に使用される11のクエリで構成されています。そのため、オブザーバビリティとネットワークセキュリティ分析の文脈でのパフォーマンス評価に非常に適しています。

リアルタイム分析

ClickBenchは分析データベースのパフォーマンスを評価するベンチマークツールです。複雑なマルチテーブルJOINではなく、大規模なフラットテーブルのパフォーマンステストに焦点を当てています。主要なWeb分析プラットフォームからの実世界のデータを使用し、クリックストリーム分析や構造化ログなどの典型的なシナリオをカバーしています。

このベンチマークは集約操作とシングルテーブルパフォーマンスをテストする一連のクエリで構成されており、複雑なJOINは含まれていません。これにより、リアルタイム分析と大規模データ処理に最適化されたデータベースの評価に特に有用です。

注意：これらのテスト結果は2024年12月に取得されたアーカイブベンチマークです。現在のリアルタイム比較はClickBenchで管理されています。

その他の移行ストーリー

• Why Apache Doris is a Better Alternative to Elasticsearch for Real-Time Analytics

• Creator of Talkie migrated from Loki and built a PB-scale logging system with Apache Doris

• How Tencent Music saved 80% in costs by migrating from Elasticsearch to Apache Doris

• Apache Doris for log and time series data analysis in NetEase, why not Elasticsearch and InfluxDB?