跳到主要内容

1 篇文档带有标签「gelu」

查看所有标签

激活与 FFN

FFN 三步结构与激活函数如何从 GELU 演进到 SwiGLU，以及它为何占 block 参数的三分之二