1 篇文档带有标签「residual-stream」

RMSNorm 为何取代 LayerNorm、pre-norm 怎么解掉深层训练不稳，以及残差作为 attention 与 FFN 通信通道的几何意义