跳到主要内容

2 篇文档带有标签「sampling」

查看所有标签

总览

本章节范围:把训完 + 对齐完的 LLM 用起来生成 token,这一阶段的工程关键:prefill / decode 二段特征 → KV cache 管理 → sampling 算法 → 量化加速。是模型从"实验室能跑" 到"生产能扛 100K QPS" 的工程主线。

采样与解码

从 greedy 到 nucleus 再到 speculative decoding,各采样策略的原理与适用场景