跳到主要内容

1 篇文档带有标签「sequence-parallelism」

查看所有标签

总览

本章节范围:序列并行 (Sequence Parallelism, SP) 的命名谱系、Megatron-SP 的精确机制(f/g 算子、激活显存公式)与 AG/RS×GEMM 的 overlap 内核实现。