Apache Doris vs Trino / Presto
Apache DorisとTrino/Prestoはどちらも人気のあるデータレイクハウスクエリエンジンですが、DorisはTrino/Prestoをパフォーマンス面で上回ります。Trino/Prestoが主にクエリエンジンである一方で、Dorisはスタンドアロンのデータウェアハウスとしても機能できます。これにより、企業はDorisを使用してデータウェアハウスとレイクハウスクエリエンジンを統合し、データアーキテクチャを簡素化できます。
-
統合: Dorisはデータウェアハウスとレイクハウスクエリエンジンを統合し、技術スタックを簡素化します
-
10倍のクエリパフォーマンス: Dorisネイティブテーブルは、Presto/Trinoと比較してクエリパフォーマンスを最大10倍向上させます
-
2-3倍高速: レイクハウスエンジンとしてのDorisは、Presto/Trinoより2-3倍高速です
注目の移行事例
「世界的に有名なインターネット大手として、初期のデータプラットフォームではTrino、Pinot、Iceberg、Kyuubiを使用していましたが、複雑性、冗長性、パフォーマンスの低さに直面していました。Apache Dorisに置き換えることで、データレイクハウスとクエリエンジンを統合し、パフォーマンスを向上させ、コストを30%削減しました。」
「PrestoからDorisに切り替えた後、クエリパフォーマンスが大幅に向上し、クエリ時間が20-40秒から1-2秒に短縮されました。一般的なデータディメンションに基づいて2-3のマテリアライズドビューを設計することで、Dorisはクエリに最適なビューを自動的に一致させ、パフォーマンスをさらに向上させることができます。」
「TrinoとSparkSQLを使用していた時、クエリレイテンシは分単位で、パフォーマンスが低かったです。Dorisに切り替えた後、パフォーマンスが2倍向上しました。Dorisはまた技術スタックを統合し、リアルタイムと対話型分析ツールの管理を簡素化しました。」
Apache Doris vs. Trino / Presto
| Apache Doris | Trino / Presto | |
|---|---|---|
| アーキテクチャ |
|
|
| 実行エンジン |
|
|
| クエリオプティマイザ |
|
|
| キャッシング機構 |
|
|
| マテリアライズドビュー |
|
|
| 使用例 |
|
|
パフォーマンス比較
TPC-DS 1TBベンチマーク
TPC-DS 1TBベンチマークは、24テーブルにまたがる63.5億レコードの1TBデータセットを使用してデータウェアハウスのパフォーマンスを評価します。結合、集約、サブクエリをテストする99の複雑なクエリが含まれています。スノーフレークスキーマに基づき、実世界の販売シナリオをシミュレートします。1TBスケールはクエリの複雑さのために困難です。
テスト環境は以下で構成されています：
- 1つのFE/Coordinatorノードと5つのBE/Workerノード。
- 各ノードは64コア、1.5TBメモリ、SSDストレージを備えています。
- HDFSはこれらのノードに同居し、Hiveテーブルが作成されています。
このテストでは、同じデータセットと同等のコンピューティングサービスを使用して、結果は以下を示しています：
- データをDorisの内部テーブルにインポートしてDorisを使用してクエリした場合、最短の実行時間を達成します。
- DorisとTrinoを別々に使用してHiveテーブルから直接データをクエリした場合、Dorisはデータレイクでの優れたクエリ高速化パフォーマンスを実証します。
