ESTIMATED PER DEVICE
0.00GiB
请先选择厂商与权重
推理显存建模
Memory planner for distributed MoE inference
ACTIVE MODEL尚未选择权重
请选择权重
激活占用
0.00 GiB0% of totalHCCL buffer
0.00 GiB0% of totalACLGraph 占用
0.00 GiB0% of totalCANN + PTA + 算子
0.00 GiB0% of totalDevice OS
0.00 GiB0% of totalMEMORY MAP
GiB显存构成
激活占用HCCL bufferACLGraph 占用CANN + PTA + 算子Device OS
激活占用0.00 GiB
Hidden states + residual
0 MiB2 × 2 B × 4096 × 04 份 MoE 激活 buffer
0 MiB4 × 2 B × 8 × 4096 × 0 ÷ 32 × 0HCCL buffer0.00 GiB
DP buffer
0 MiBmax(ceil((8 + 1) × 4 ÷ 1024²), 50) × 2 MBTP buffer
0 MiB200 MB × 2EP buffer
0 MiB200 MB × 2MC2 buffer（本地专家 0）
0 MiB2 × (本地专家 × Max BS × EP × 480Align512 + K × Max BS × Align512)Dispatch 0 MiBCombine 0 MiB480Align512 = 0 BAlign512 = 0 B
其他运行时0.00 GiB
ACLGraph 占用（5 张）
0 MiB5 ÷ 5 × 0.27 GBCANN + PTA + 算子
0 MiB1 GiB 预估值Device OS 固定占用
0 MiB4.25 × 1024³ bytes（固定值）口径说明 所有结果均为单卡估算并统一显示为 GiB。权重从 safetensors header 逐张量（dtype × shape）求和，全量精确；单卡按模块通用切分（专家÷EP、注意力/Embedding/LM Head÷TP、其余复制）为近似。KV Cache 仅对上游已收录的模型展示。EP 自动等于 TP × DP。