跳到主要内容

2 篇文档带有标签「transformer-block」

查看所有标签

Block 与堆叠

一个完整 Transformer block 的组装顺序、层数如何选取,以及参数与计算分别集中在哪里

总览

本章节范围:从 04 章的 attention 子层出发,把它跟另一个核心子层 FFN 用归一化 + 残差包起来,组装成 Transformer block,然后堆叠成完整模型。读完 04 + 05 章就是 GPT 主干。