チューニングプロセス
概要
パフォーマンスチューニングは、体系的な診断と最適化のための包括的な方法論と実装フレームワークを必要とする体系的なプロセスです。診断ツールと分析ツールの強力なサポートにより、Dorisシステムはパフォーマンス問題を効率的に診断、分析、特定、解決できます。チューニングの完全な4ステッププロセスは以下の通りです：
ステップ1: パフォーマンス診断ツールを使用してスロークエリを特定する
Doris上で動作するビジネスシステムについて、前述のパフォーマンス診断ツールを使用してスローSQLクエリを特定します。
- Doris Managerがインストールされている場合は、Managerのログページを使用してスロークエリを視覚的に便利に特定することを推奨します。
- Managerがインストールされていない場合は、FEノードの
fe.audit.logファイルまたはaudit_logシステムテーブルを直接確認して、スローSQLクエリのリストを取得し、チューニングの優先順位を付けることができます。
ステップ2: Schemaの設計とチューニング
特定のスローSQLクエリを特定した後、最初の優先事項は、不適切なschema設計によるパフォーマンス問題を排除するために、ビジネスschema設計を検査しチューニングすることです。
Schema設計チューニングは3つの側面に分けることができます：
- テーブルレベルSchema設計チューニング（パーティションとバケット数の調整、フィールド最適化など）
- インデックス設計とチューニング
- Colocate GroupでのJoin最適化などの特定の最適化技術の使用。主な目的は、不適切なschema設計やDorisの既存の最適化機能を十分に活用できないことによるパフォーマンス問題を排除することです。
詳細なチューニング例については、プランチューニングのドキュメントを参照してください。
ステップ3: プランチューニング
ビジネスschemaの検査とチューニング後、チューニングの主要なタスクが始まります：プランチューニングと実行チューニング。上記のように、この段階では、主要なタスクは、Dorisが提供するさまざまなレベルのExplainツールを最大限に活用してスローSQLクエリの実行プランを体系的に分析し、ターゲットを絞った最適化のための主要な最適化ポイントを特定することです。
- 単一テーブルクエリと分析シナリオでは、実行プランを分析してパーティションプルーニングが適切に動作しているかを確認し、単一テーブルマテリアライズドビューを使用してクエリを高速化できます。
- 複雑な複数テーブル分析シナリオでは、Join Orderを分析してそれが適切かどうかを判断し、特定のパフォーマンスボトルネックを特定できます。また、複数テーブルマテリアライズドビューを使用した透過的なリライトによりクエリを高速化できます。不適切なJoin Orderなどの予期しない状況が発生した場合は、Leading hintを使用してJoin Orderを制御、Shuffle Hintを使用してJoinのshuffle方法を調整、Hintを使用してコストベース最適化ルールを制御など、Join Hintを手動で指定して実行プランをバインドし、実行プランのチューニング目標を達成できます。
- 特定のシナリオでは、SQL Cacheを使用してクエリを高速化など、Dorisが提供する高度な機能を活用することもできます。
詳細なチューニング例については、プランチューニングのドキュメントを参照してください。
ステップ4: 実行チューニング
実行チューニング段階では、SQLクエリの実際の実行に基づいてプランチューニングの効果を検証する必要があります。さらに、既存プランのフレームワーク内で、実行側のボトルネックを継続的に分析し、どの実行段階が遅いか、または並列性が最適でないなどの他の一般的な問題を特定します。
複数テーブル分析クエリを例にとると、Profileを分析して計画されたJoin順序が適切か、Runtime Filtersが効果的か、並列性が期待値を満たしているかを確認できます。さらに、Profileは遅いI/Oや予期しないネットワーク伝送パフォーマンスなど、マシン負荷に関するフィードバックを提供できます。そのような問題を確認し診断する際は、診断とチューニングを支援するためのシステムレベルツールが必要です。
詳細なチューニング例については、実行チューニングのドキュメントを参照してください。
特定のパフォーマンス問題を分析する際は、最初にプランを確認してから実行をチューニングすることを推奨します。まずExplainツールを使用して実行プランを確認し、次にProfileツールを使用して実行パフォーマンスを特定しチューニングしてください。順序を逆にすると非効率になり、パフォーマンス問題の迅速な特定を妨げる可能性があります。
まとめ
クエリチューニングは体系的なプロセスであり、Dorisはユーザーにさまざまなレベルでのパフォーマンス問題の診断、特定、分析、解決を促進するための様々な次元にわたるツールを提供します。これらの診断・分析ツールに習熟し、適切なチューニング方法を採用することで、ビジネス担当者とDBAはパフォーマンスボトルネックを迅速かつ効果的に対処し、Dorisの強力なパフォーマンス優位性をより良く引き出し、ビジネス有効化のためのビジネスシナリオにより良く適応できます。
