効率的な重複排除

重複排除は、分析処理の中でも特に多くのリソースを消費する操作の一つです。Apache Doris は、COUNT DISTINCT の代わりに使用できる二つの専用データ型を提供し、メモリ使用量とレイテンシーを抑えて重複を排除します。正確な結果が必要な場合は BITMAP を、ストレージ使用量を抑えるために 1%–2% の誤差を許容できる場合は HLL を選択してください。

正確な重複排除

BITMAP による正確な重複排除

COUNT DISTINCT の代わりに BITMAP 型を使用すると、正確に重複を排除しながら、クエリ速度を向上させ、メモリとディスクの使用量を削減できます。

近似的な重複排除

HLL による近似的な重複排除

HyperLogLog に基づく近似的な重複排除です。誤差は 1%–2% 以内に抑えられ、ストレージ使用量も少ないため、大規模な UV やカーディナリティの統計に適しています。