跳到主要内容

1 篇文档带有标签「usp」

查看所有标签

DeepSpeed-Ulysses

attention 前后各一次 A2A 怎么转置张量维度、为何并行度受 head 数约束、USP 怎么混合