メモリログ解析

be/log/be.INFO内のプロセスメモリログは主に2つのカテゴリに分かれています。1つはプロセスメモリサイズとシステムの残り利用可能メモリサイズを含むプロセスメモリステータスログです。もう1つはMemory Trackerによってカウントされるメモリサイズを含む、より詳細なプロセスメモリ統計ログです。

プロセスメモリステータスログ解析

Doris BEのプロセスメモリステータスは、プロセスメモリが256 MB増加または減少するたびにlog/be.INFOログに出力されます。また、プロセスメモリが不足した場合、プロセスメモリステータスは他のログとともに出力されます。

os physical memory 375.81 GB. process memory used 4.09 GB(= 3.49 GB[vm/rss] - 410.44 MB[tc/jemalloc_cache] + 1 GB[reserved] + 0B[waiting_refresh]), limit 3.01 GB, soft limit 2.71 GB. sys available memory 134.41 GB(= 1 35.41 GB[proc/available] - 1 GB[reserved] - 0B[waiting_refresh]), low water mark 3.20 GB, warning water mark 6.40 GB.

os physical memory 375.81 GB はシステム物理メモリ 375.81 GB を指します。
process memory used 4.09 GB (= 3.49 GB [vm/rss] - 410.44 MB [tc/jemalloc_cache] + 1 GB [reserved] + 0B [waiting_refresh])

現在、BEプロセスが4.09 GBのメモリを使用していると判断されており、BEプロセスが実際に使用している物理メモリvm/rssは3.49 GBです。
そのうち410.44 MBがtc/jemalloc_cacheです。このキャッシュ部分は後続の実行プロセスで最初に再利用されるため、ここではBEプロセスメモリとして計上されていません。
reservedは実行プロセス中に予約されたメモリです。通常、HashTableなど大量のメモリを消費する操作を構築する前に、HashTableの構築プロセスがメモリ不足により終了されることがないように、HashTableのメモリを事前に予約します。この予約済みメモリ部分は、実際にはまだ割り当てられていない場合でも、BEプロセスメモリに計算されます。
waiting_refreshは、2回のメモリステータス更新の間隔で要求された大容量メモリです。Dorisのメモリステータス更新のデフォルト間隔は100msです。2回のメモリステータス更新の間隔で大量のメモリ要求があった場合に、メモリが制限を超えた後にメモリGCが適時に検出・トリガーされないことを避けるため、間隔内で要求された大容量メモリをBEプロセスメモリに計算します。waiting_refreshは各メモリステータス更新後に0にクリアされます。

sys available memory 134.41 GB (= 135.41 GB [proc/available] - 1 GB [reserved] - 0B [waiting_refresh])

BEプロセスに現在残っている利用可能メモリは134.41 GBであり、システムでBEプロセスが利用可能な実際のメモリproc/availableは135.41 GBです。
1GBのメモリがすでに予約されているため、BEプロセスの残り利用可能メモリを計算する際はreservedが減算されます。reservedとwaiting_refreshの詳細についてはlimit 3.01 GB, soft limit 2.71 GBおよびlow water mark 3.20 GB, warning water mark 6.40 GBについて、MemLimitとWaterMarkの詳細情報については、[Memory limit and watermark calculation method]を参照してください。

プロセスメモリ統計ログ分析

プロセスの利用可能メモリが不足している場合、BEの大部分のメモリ要求はそれを認識し、Memory GCのトリガーやクエリのCancelなどの事前定義されたコールバック方法を試行し、プロセスメモリ統計ログを出力します。デフォルトの出力間隔は1秒です。ログはProcess Memory SummaryとMemory Tracker Summaryの2つの部分に分かれています。be/log/be.INFOで見つけることができ、現在のプロセスメモリ使用量が期待値と一致しているかを確認できます。

Process Memory Summary:
    os physical memory 375.81 GB. process memory used 4.09 GB(= 3.49 GB[vm/rss] - 410.44 MB[tc/jemalloc_cache] + 1 GB[reserved] + 0B[waiting_refresh]), limit 3.01 GB, soft limit 2.71 GB. sys available memory 134.41 GB(= 135.41 GB[proc/available] - 1 GB[reserved] - 0B[waiting_refresh]), low water mark 3.20 GB, warning water mark 6.40 GB.
Memory Tracker Summary:
    MemTrackerLimiter Label=other, Type=overview, Limit=-1.00 B(-1 B), Used=0(0 B), Peak=0(0 B)
    MemTrackerLimiter Label=schema_change, Type=overview, Limit=-1.00 B(-1 B), Used=0(0 B), Peak=0(0 B)
    MemTrackerLimiter Label=compaction, Type=overview, Limit=-1.00 B(-1 B), Used=0(0 B), Peak=0(0 B)
    MemTrackerLimiter Label=load, Type=overview, Limit=-1.00 B(-1 B), Used=0(0 B), Peak=0(0 B)
    MemTrackerLimiter Label=query, Type=overview, Limit=-1.00 B(-1 B), Used=83.32 MB(87369024 B), Peak=88.33 MB(92616000 B)
    MemTrackerLimiter Label=global, Type=overview, Limit=-1.00 B(-1 B), Used=199.37 MB(209053204 B), Peak=199.37 MB(209053204 B)
    MemTrackerLimiter Label=tc/jemalloc_cache, Type=overview, Limit=-1.00 B(-1 B), Used=410.44 MB(430376896 B), Peak=-1.00 B(-1 B)
    MemTrackerLimiter Label=tc/jemalloc_metadata, Type=overview, Limit=-1.00 B(-1 B), Used=144 MB(151759440 B), Peak=-1.00 B(-1 B)
    MemTrackerLimiter Label=sum of all trackers, Type=overview, Limit=-1.00 B(-1 B), Used=114.80 MB(726799124 B), Peak=-1.00 B(-1 B)
    MemTrackerLimiter Label=process resident memory, Type=overview, Limit=-1.00 B(-1 B), Used=3.49 GB(3743289344 B), Peak=3.49 GB(3743289344 B)
    MemTrackerLimiter Label=reserved_memory, Type=overview, Limit=-1.00 B(-1 B), Used=0(0 B), Peak=-1.00 B(-1 B)
    MemTrackerLimiter Label=process virtual memory, Type=overview, Limit=-1.00 B(-1 B), Used=44.25 GB(47512956928 B), Peak=44.25 GB(47512956928 B)
    MemTrackerLimiter Label=Orphan, Type=global, Limit=-1.00 B(-1 B), Used=0(0 B), Peak=0(0 B)
    MemTrackerLimiter Label=DetailsTrackerSet, Type=global, Limit=-1.00 B(-1 B), Used=0(0 B), Peak=0(0 B)
    MemTracker Label=IOBufBlockMemory, Parent Label=DetailsTrackerSet, Used=1.41 MB(1474560 B), Peak=1.41 MB(1474560 B)
    MemTracker Label=SegmentCache[size], Parent Label=DetailsTrackerSet, Used=1.64 MB(1720543 B), Peak=18.78 MB(19691997 B)
    MemTracker Label=SchemaCache[number], Parent Label=DetailsTrackerSet, Used=9.21 KB(9428 B), Peak=9.21 KB(9428 B)
    MemTracker Label=TabletSchemaCache[number], Parent Label=DetailsTrackerSet, Used=9.29 MB(9738798 B), Peak=9.29 MB(9738798 B)
    MemTracker Label=TabletMeta(experimental), Parent Label=DetailsTrackerSet, Used=25.08 MB(26303456 B), Peak=25.08 MB(26303456 B)
    MemTracker Label=RuntimeFilterMergeControllerEntity(experimental), Parent Label=DetailsTrackerSet, Used=32.00 B(32 B), Peak=32.00 B(32 B)
    MemTrackerLimiter Label=SegCompaction, Type=global, Limit=-1.00 B(-1 B), Used=0(0 B), Peak=0(0 B)
    MemTrackerLimiter Label=PointQueryExecutor, Type=global, Limit=-1.00 B(-1 B), Used=0(0 B), Peak=0(0 B)
    MemTrackerLimiter Label=BlockCompression, Type=global, Limit=-1.00 B(-1 B), Used=0(0 B), Peak=0(0 B)
    MemTrackerLimiter Label=RowIdStorageReader, Type=global, Limit=-1.00 B(-1 B), Used=0(0 B), Peak=0(0 B)
    MemTrackerLimiter Label=SubcolumnsTree, Type=global, Limit=-1.00 B(-1 B), Used=0(0 B), Peak=0(0 B)
    MemTrackerLimiter Label=S3FileBuffer, Type=global, Limit=-1.00 B(-1 B), Used=0(0 B), Peak=0(0 B)
    MemTrackerLimiter Label=DataPageCache[size](AllocByAllocator), Type=global, Limit=-1.00 B(-1 B), Used=198.70 MB(208357157 B), Peak=198.73 MB(208381892 B)
    MemTrackerLimiter Label=IndexPageCache[size](AllocByAllocator), Type=global, Limit=-1.00 B(-1 B), Used=679.73 KB(696047 B), Peak=679.73 KB(696047 B)
    MemTrackerLimiter Label=PKIndexPageCache[size](AllocByAllocator), Type=global, Limit=-1.00 B(-1 B), Used=0(0 B), Peak=0(0 B)
    MemTrackerLimiter Label=Query#Id=529e3cb37dff464c-93bd9eafa8944ea6, Type=query, Limit=2.00 GB(2147483648 B), Used=83.32 MB(87369024 B), Peak=88.33 MB(92616000 B)
    MemTrackerLimiter Label=MemTableTrackerSet, Type=load, Limit=-1.00 B(-1 B), Used=0(0 B), Peak=0(0 B)
    MemTrackerLimiter Label=SnapshotManager, Type=other, Limit=-1.00 B(-1 B), Used=0(0 B), Peak=0(0 B)
    MemTracker Label=AllMemTableMemory, Parent Label=DetailsTrackerSet, Used=0(0 B), Peak=0(0 B)

Process Memory Summaryはプロセスメモリステータスで、上記の[Process Memory Status Log Analysis]を参照してください。

Memory Tracker SummaryはプロセスMemory Trackerのサマリーで、Type=overviewとType=globalのすべてのMemory Trackerを含み、ユーザーが現在のメモリステータスを分析するのに役立ちます。メモリの各部分の意味を分析するにはOverviewを参照してください。

プロセスメモリステータスログ解析​

プロセスメモリ統計ログ分析​

プロセスメモリステータスログ解析

プロセスメモリ統計ログ分析