2 篇文档带有标签「activation-memory」

f/g 算子如何插入通信、AllReduce 怎么拆成 AG+RS、激活显存怎么算

本章节范围：序列并行 (Sequence Parallelism, SP) 的命名谱系、Megatron-SP 的精确机制（f/g 算子、激活显存公式）与 AG/RS×GEMM 的 overlap 内核实现。