ヒーププロファイルメモリ解析

Heap Profileは、プロセスのメモリ使用量とコールスタックのリアルタイム表示をサポートしているため、通常はコードについてある程度の理解が必要です。Heap Profileは仮想メモリを記録することに注意してください。設定を変更してDoris BEプロセスを再起動し、現象を再現する必要があります。

DorisはデフォルトのAllocatorとしてJemallocを使用しています。Heap Profileを使用するには、以下の方法を参照してください。

be.confのJEMALLOC_CONFのprof_active:falseをprof_active:trueに変更し、Doris BEを再起動します。
curl http://be_host:8040/jeheap/dumpを実行すると、${DORIS_HOME}/logディレクトリに生成されたprofileファイルが表示されます。
jeprof --dot ${DORIS_HOME}/lib/doris_be ${DORIS_HOME}/log/profile_fileを実行した後、ターミナルが出力したテキストをオンラインdot描画サイトに貼り付けて、メモリ割り当てグラフを生成します。

上記のプロセスは、リアルタイムメモリ分析に使用されるDoris 2.1.8および3.0.4以降のバージョンに基づいています。長期間にわたってメモリを観察する必要がある場合、またはメモリアプリケーションの累積値を観察する場合は、Jemalloc Heap Profileの使用に関する詳細についてJemalloc Heap Profileを参照してください。

Heap ProfileのコールスタックでSegment、TabletSchema、ColumnReaderフィールドのメモリ使用率が大きい場合、メタデータが大量のメモリを占有していることを意味します。

クラスターが一定期間実行された後、アイドル状態でもBEメモリが減少しない場合、Heap ProfileのコールスタックでAgg、Join、Filter、Sort、Scanなどのフィールドのメモリ使用率が大きいことが確認できます。対応する時間帯のBEプロセスメモリ監視が継続的な上昇傾向を示している場合、メモリリークが発生している疑いがあります。コールスタックに基づいてコードの分析を続行してください。

クラスターでタスクを実行している間にHeap ProfileのコールスタックでAgg、Join、Filter、Sort、Scanなどのフィールドのメモリ使用率が大きく、タスク完了後にメモリが正常に解放される場合、メモリの大部分は実行中のタスクによって使用されており、リークはないことを意味します。Label=query, Type=overview Memory Trackerの値が、Heap Profileで上記フィールドを含むメモリコールスタックよりも総メモリに占める割合が小さい場合、Label=query, Type=overview Memory Trackerの統計が不正確であることを意味し、コミュニティでタイムリーなフィードバックを提供できます。