​
Top-p (Nucleus Sampling)

Top-p（又称核采样）是除了 Temperature 之外，另一个常用的控制模型输出随机性的参数。

​
工作原理

模型在生成下一个词时，会预测所有可能词的概率分布。
  • Top-p = 0.1: 模型只考虑累积概率达到 10% 的那些最高概率的词。这会使输出非常保守和准确。
  • Top-p = 0.9: 模型会考虑累积概率达到 90% 的词，这意味着很多低概率的词也有机会被选中，增加了多样性。

​
Top-p vs Temperature

  • Temperature 是调整概率分布的“形状”（平滑或尖锐）。
  • Top-p 是直接“截断”低概率的尾部。

​
最佳实践

不要同时调整 Temperature 和 Top-p。 通常建议：
  • 固定 Top-p (例如 1.0)，只调整 Temperature。
  • 或者固定 Temperature (例如 1.0)，只调整 Top-p。