Top-p采样

Top-p 采样是什么？

模型生成下一个词时，候选词成千上万。Top-p 采样（也叫核采样）会先按概率从高到低把词排好，再一路累加，直到累积概率刚好达到 p——比如 0.9。然后只在这个「核心圈」里随机挑词。

它和 Top-k 有什么区别？

Top-k 固定选前 k 个
不管分布长什么样，永远取概率最高的前 k 个词。问题是 k 不好定：设小了丢创意，设大了混进垃圾。
Top-p 看累积概率
它不数个数，只关心「覆盖了多少概率」。分布集中时圈就小，分布分散时圈就大，自动适配。

它解决什么问题？

自然语言的概率分布很不均匀——有时前两个词就占了 90%，有时前一百个词才占 90%。固定数量的 Top-k 无法兼顾这两种情况，Top-p 用「概率覆盖率」当标尺，能动态调整候选池大小，让输出既稳定又不呆板。

实战里怎么用？

它常和温度一起出现：先调温度改变分布，再用 Top-p 圈定范围。很多 API 的默认值就是 p=0.9 或 1.0。想更稳就调小 p，想更多样就调大 p，并配合温度一起试。

一句话记住：Top-p 就是「按概率圈一块地」来抽词——地有多大，全看候选词的分布有多散。