2 篇文档带有标签「bpe」

为何不按词或字符切分、BPE 如何用子词单元同时控制词表大小与序列长度

本章节范围：把读者输入的字符串变成 Transformer block 能吃的张量 [s, h] 的完整链路——切分 (tokenization) → 查表 (embedding) → 注入位置 (position encoding) 三步。