ClickHouseの代替
Apache DorisとClickHouseは、いずれもカラム型ストレージと高速クエリ機能を備えた主要なリアルタイム分析データベースです。Apache Dorisは、3つの重要な領域でClickHouseに対して大きな優位性を提供します：Cost-Based Optimizerを搭載した高度なMPPアーキテクチャによる10倍高速なjoinクエリパフォーマンス、リソースの独立スケーリングを可能にするcompute-storage separationによるより低いインフラストラクチャコスト、高頻度のデータ変更時にもクエリ速度を維持するMerge-on-Writeエンジンによる優れたリアルタイム更新パフォーマンスです。
注目の移行事例
"Tencent Musicのデータプラットフォームは、ClickHouseからApache Dorisに移行し、データの適時性を改善し、メンテナンスコストを削減しました。Dorisの柔軟な取り込み方法と堅牢な一貫性プロトコルにより、高可用性と信頼性が確保されています。"
ハイライト：
- マルチテーブルjoinパフォーマンスの大幅な向上。
- 簡単なスケーリングとメンテナンス。
- 効率的なデータ処理とリアルタイム更新。
"Apache Dorisは、大部分のシナリオ、特に複雑なjoinシナリオにおいて、ClickHouseよりも高速なクエリ応答時間を実現し、そのパフォーマンスはClickHouseを大幅に上回っています。"
ハイライト：
- コアビジネスクエリが2-3倍。
- 複雑なjoinクエリが2-10倍。
- すべてのClickHouse OOMクエリを実行可能。
"ClickHouseをDorisに置き換えることで、Kwaiはレイクハウスアーキテクチャへのアップグレードに成功し、データパイプラインを簡素化し、Dorisがデータレイクデータに直接アクセスできるため、データインポートの必要性を排除しました。"
ハイライト：
- データレイクデータの直接クエリ。
- クエリパフォーマンスの向上。
- materialized viewsによる柔軟なデータガバナンス。
Apache Doris vs. ClickHouse
| Apache Doris | ClickHouse | |
|---|---|---|
| アーキテクチャ & SQL |
|
|
| Joinクエリパフォーマンス |
|
|
| リアルタイム更新 |
|
|
| トランザクションサポート |
|
|
| クエリ同時実行性 |
|
|
| データAPI |
|
|
| オープンレイクハウス構築 |
|
|
| 運用 & メンテナンス |
|
|
| パフォーマンス |
|
|
| コスト効率性（Storage-Compute Separation） |
|
|
| オープンソース |
|
|
パフォーマンス比較
ClickBench Benchmark
ClickBenchは、ClickHouseチームによって作成・維持されている分析データベースのパフォーマンス評価ツールです。
複雑なマルチテーブルjoinではなく、大規模で平坦なテーブルのパフォーマンスのテストに焦点を当てています。主要なウェブ分析プラットフォームの実世界データを使用し、clickstreamの分析や構造化ログなどの典型的なシナリオをカバーします。
このベンチマークは、集約操作とシングルテーブルパフォーマンスをテストするクエリセットで構成されており、複雑なjoinは含まれません。これにより、リアルタイム分析と大規模データ処理に最適化されたデータベースの評価に特に有用です。
SSB-Flat SF100 Benchmark
SSB-Flat SF100は、大規模wideテーブル処理における分析データベースのパフォーマンスをテストするよう設計されたベンチマークです。
Star Schema Benchmark (SSB)から派生していますが、スタースキーマを単一のwideテーブルに平坦化し、シングルテーブルクエリのパフォーマンスに焦点を当てます。
SF100はデータスケールがベースサイズの100倍であることを示し、クエリパフォーマンスとシステムスケーラビリティの評価における重要なテストとなります。
TPC-H SF100 Benchmark
スケールファクター100 (SF100)のTPC-H benchmarkは、データベースパフォーマンス評価に広く使用されている標準です。実世界のビジネスインテリジェンスワークロードをシミュレートするよう設計された複雑なSQLクエリセットが含まれています。
SF100はデータサイズがベースサイズの100倍であることを示し、クエリパフォーマンスとシステムスケーラビリティを測定する大規模テストとなります。
注意：ClickHouseが7つのクエリの実行に失敗したため、総実行時間はDorisが全22クエリを実行する時間、ClickHouseが15クエリのみを実行する時間を指します。
TPC-DS 1TB Benchmark
TPC-DS 1TBは、データウェアハウスと分析データベースのパフォーマンス評価に広く認知されているベンチマークです。24テーブルに分散した約63.5億レコードを含む、約1TBサイズのデータセットが関与します。
このベンチマークには、join、集約、サブクエリなど、データベースパフォーマンスの様々な側面をテストするよう設計された99の複雑なクエリが含まれています。
TPC-DSスキーマは、ウェブ、カタログ、店舗売上などの実世界シナリオを表現するスノーフレークスキーマベースです。1TBスケールはデータウェアハウスにとって中程度のサイズと考えられますが、クエリの複雑さと大量のレコード数により依然として挑戦的です
注意：TPC-DSは相関サブクエリを多用しますが、これらは（2024年9月のテスト時点で）ClickHouseでサポートされていません。その結果、ベンチマーククエリの約50%がエラーで失敗します。
