跳到主要内容

1 篇文档带有标签「rng」

查看所有标签

Megatron-SP 机制

f/g 算子如何插入通信、AllReduce 怎么拆成 AG+RS、激活显存怎么算