ESTIMATED PER DEVICE
47.77GiB
单卡总显存预估（含权重）
推理显存建模
Memory planner for distributed MoE inference
ACTIVE MODELMiniMax M3
Hidden size6,144
专家总数128
TopK 专家4
EP size32TP 4 × DP 8
本地专家数4128 ÷ EP 32
官方配置 ↗权重占用
18.60 GiB38.9% of totalKV + Index Cache
22.13 GiB46.3% of total激活占用
0.28 GiB0.6% of totalHCCL buffer
1.26 GiB2.6% of totalACLGraph 占用
0.25 GiB0.5% of totalCANN + PTA + 算子
1.00 GiB2.1% of totalDevice OS
4.25 GiB8.9% of totalMEMORY MAP
GiB显存构成
权重占用KV + Index Cache激活占用HCCL bufferACLGraph 占用CANN + PTA + 算子Device OS
权重占用18.60 GiB
全量模型 411.65 GiB当前单卡 18.60 GiB本地专家 4
Routed Experts MXFP8 payload
12.02 GiB57 × (128 ÷ 32) × 3 × 6144 × 3072 × 1 BRouted Experts MXFP8 scale
384.8 MiB随本地专家数 E ÷ EP 切分；每 [1, 32] block 1 BAttention QKV（TP 4）
835.3 MiBQ/K/V 按 Attention TP 4 切分Attention O-proj（TP 4）
742.5 MiB60 × 6144 × (64 × 128 ÷ TP 4)；MXFP8 payload 720 MiB + scale 22.5 MiBAttention Indexer Q/K（TP 4）
88.2 MiB57 层 × [Q: 4 heads ÷ TP 4；K: 1 head 复制] × head dim 128；MXFP8 + scaleAttention 辅助张量
0.1 MiBQ/K Norm、Indexer Q/K Norm 等Dense MLP FP8 payload
162 MiB3 × 3 × H × (12288 ÷ 4)Dense MLP MXFP8 scale
5.1 MiB按 TP 切分后的实际矩阵 shape 计算Shared Experts MXFP8 payload（TP 1）
3.01 GiBLm × Ns × 3 × H × I × 1 B；不切分Shared Experts MXFP8 scale
96.2 MiBTP 1，不随 EP 切分，每个 Device 保留完整 scaleRouter（FP32）
171 MiB57 × 128 × (6144 + 1) × 4 BNorm
2.8 MiBBF16 Norm tensorsEmbedding
586.1 MiB200064 ÷ 4 × 6144 × 2 BLM Head
586.1 MiB200064 ÷ 4 × 6144 × 2 BMisc
0 MiBRoPE inv_freq 等 bufferKV + Index Cache22.13 GiB
K/V Cache（FP8 / INT8）
15.00 GiB131072 × 8 × 60 × 2 × (4 ÷ TP 4) × 128 × 1 B；有效 60 层，K/V 各存一份，随 TP 切分Index Cache（FP8 / INT8）
7.13 GiB131072 × 8 × 57 × 128 × 1 B；有效 57 层，Index K 随 TP 复制，不切分激活占用0.28 GiB
Hidden states + residual
96 MiB2 × 2 B × 4096 × 61444 份 MoE 激活 buffer
192 MiB4 × 2 B × 8 × 4096 × 4 ÷ 32 × 6144HCCL buffer1.26 GiB
DP buffer
95.4 MiBmax(ceil((8 + 1) × 4 ÷ 1024²), 50) × 2 MBTP buffer
381.5 MiB200 MB × 2EP buffer
381.5 MiB200 MB × 2MC2 buffer（本地专家 4）
428 MiB2 × (128 ÷ 32 × Max BS × EP × 480Align512 + K × Max BS × Align512)Dispatch 416 MiBCombine 12 MiB480Align512 = 13,312 BAlign512 = 12,288 B
其他运行时5.50 GiB
ACLGraph 占用（5 张）
257.5 MiB5 ÷ 5 × 0.27 GBCANN + PTA + 算子
1.00 GiB1 GiB 预估值Device OS 固定占用
4.25 GiB4.25 × 1024³ bytes = 4.25 GiB口径说明 所有结果均为单卡估算并统一显示为 GiB。MiniMax M3 权重包含 MXFP8 scale；EP 自动等于 TP × DP。KV Cache 与 Index Cache 按缓存 token 总数估算，不包含分配器开销。