ヒーププロファイルメモリ解析

Heap Profileは、プロセスのメモリ使用量とコールスタックのリアルタイム表示をサポートしているため、通常はコードの理解が必要です。Heap Profileは仮想メモリを記録することに注意してください。設定を変更してDoris BEプロセスを再起動し、現象を再現する必要があります。

DorisはデフォルトのAllocatorとしてJemallocを使用しています。Heap Profileを使用するには、以下の方法を参照してください。

be.confのJEMALLOC_CONFのprof_active:falseをprof_active:trueに変更し、Doris BEを再起動します。
curl http://be_host:8040/jeheap/dumpを実行すると、${DORIS_HOME}/logディレクトリに生成されたprofileファイルが表示されます。
jeprof --dot ${DORIS_HOME}/lib/doris_be ${DORIS_HOME}/log/profile_fileを実行した後、ターミナルが出力したテキストをonline dot drawing websiteに貼り付けて、メモリ割り当てグラフを生成します。

上記のプロセスはDoris 2.1.8および3.0.4以降のバージョンをベースとしており、リアルタイムメモリ解析に使用されます。長時間メモリを観察する必要がある場合や、メモリアプリケーションの累積値を観察する場合は、Jemalloc Heap Profileの使用方法の詳細についてJemalloc Heap Profileを参照してください。

Heap ProfileのコールスタックでSegment、TabletSchema、ColumnReaderフィールドが大きなメモリシェアを占めている場合、メタデータが大量のメモリを占有していることを意味します。

一定期間実行後、クラスタがアイドル状態になってもBEメモリが減少しない場合、Heap ProfileのコールスタックでAgg、Join、Filter、Sort、Scanなどのフィールドが大きなメモリシェアを占めていることが確認できます。該当する時間帯のBEプロセスメモリ監視が継続的な上昇傾向を示している場合、メモリリークが発生している疑いがあります。コールスタックに基づいてコードの解析を続行してください。

クラスタでのタスク実行中にHeap ProfileのコールスタックでAgg、Join、Filter、Sort、Scanなどのフィールドが大きなメモリシェアを占めており、タスク完了後にメモリが正常に解放される場合、メモリの大部分は実行中のタスクによって使用されており、リークはないことを意味します。Label=query, Type=overview Memory Trackerの値が、Heap Profileで上記フィールドを含むメモリコールスタックよりも総メモリに占める割合が小さい場合、Label=query, Type=overview Memory Trackerの統計が不正確であることを意味し、コミュニティでタイムリーにフィードバックを提供できます。