跳到主要内容

2 篇文档带有标签「allgather」

查看所有标签

Megatron-SP 机制

f/g 算子如何插入通信、AllReduce 怎么拆成 AG+RS、激活显存怎么算

通信 overlap 实现

AG/RS 与 GEMM 有数据依赖，三条路线怎么分块流水实现内核级融合