ヒーププロファイルメモリ解析

Heap Profileはプロセスメモリ使用量とコールスタックのリアルタイム表示をサポートしているため、通常はコードについてある程度の理解が必要です。Heap Profileは仮想メモリを記録することに注意してください。設定を変更してDoris BEプロセスを再起動し、現象を再現する必要があります。

DorisはデフォルトのAllocatorとしてJemallocを使用しています。Heap Profileを使用するには、以下の方法を参照してください。

be.conf内のJEMALLOC_CONFのprof_active:falseをprof_active:trueに変更し、Doris BEを再起動します。
curl http://be_host:8040/jeheap/dumpを実行すると、${DORIS_HOME}/logディレクトリに生成されたprofileファイルが表示されます。
jeprof --dot ${DORIS_HOME}/lib/doris_be ${DORIS_HOME}/log/profile_fileを実行した後、ターミナルから出力されたテキストをオンラインdot描画サイトに貼り付けて、メモリ割り当てグラフを生成します。

上記のプロセスはDoris 2.1.8および3.0.4以降のバージョンに基づいており、リアルタイムメモリ分析に使用されます。長時間メモリを観察する必要がある場合やメモリアプリケーションの累積値を観察する場合は、Jemalloc Heap Profileの使用に関する詳細情報についてJemalloc Heap Profileを参照してください。

Heap Profileで大きなメモリ占有率を持つコールスタックにSegment、TabletSchema、ColumnReaderフィールドが表示される場合、メタデータが大量のメモリを占有していることを意味します。

クラスターが一定期間実行された後、アイドル時にBEメモリが減少しない場合、Heap Profileで大きなメモリ占有率を持つコールスタックにAgg、Join、Filter、Sort、Scanなどのフィールドが表示されます。対応する時間帯のBEプロセスメモリ監視が継続的な上昇傾向を示している場合、メモリリークがあると疑う理由があります。コールスタックに基づいてコードの分析を続行してください。

クラスターでタスク実行中にHeap Profileで大きなメモリ占有率を持つコールスタックにAgg、Join、Filter、Sort、Scanなどのフィールドが表示され、タスク完了後にメモリが正常に解放される場合、メモリの大部分は実行中のタスクによって使用されており、リークはないことを意味します。Label=query, Type=overview Memory Trackerの値がHeap Profileで上記フィールドを含むメモリコールスタックよりも総メモリに占める割合が小さい場合、Label=query, Type=overview Memory Trackerの統計が不正確であることを意味し、コミュニティでタイムリーなフィードバックを提供できます。