语言模型如何生成回答？

文本以词元形式进入模型

生成前，分词器会把指令、对话、工具结果和其他上下文拆成词元。一个词元可以是完整词、词的一部分或标点。模型处理的是这些标识符，而不是人看到的句子，因此语言、拼写和排版都会改变上下文窗口的占用量。

模型一次预测一个下一词元

面对已有序列，网络会为词表中的每个下一候选分配概率。解码规则选出一个词元，将它追加到序列，然后重新计算。这个循环在停止词元或设定上限处结束；模型通常不是在检索一份预先保存的完整答案。

上下文会塑造概率

系统指令、用户请求、先前消息和提供的文档只要仍在活动上下文中，就会改变候选概率。总选最高概率通常更可重复，从多个合理候选中采样则带来变化。温度等控制项改变选择方式，却不会凭空增加事实。

生成并不是数据库检索

训练把文本模式分散到大量数值权重中，这些权重不是带有可靠来源地址的段落目录。如果没有独立的检索或工具，模型无法打开来源记录来证明一句话。因此，流畅文字可能把熟悉模式组合成毫无事实依据的说法。

实际使用时要考虑的限制

模型可能编造细节、误解含糊指令、遗漏上下文外的信息、重复训练材料中的偏差，也会在计算或多步推理中犯错。应把重要输出视为草稿：提供相关上下文，当前事实需要检索或工具，并用独立来源或测试核验影响重大的主张。

常见问题

语言模型理解自己的回答吗？

它能表示复杂关系并生成类似推理的文字，但把这称为人类式理解超出了机制本身能证明的范围。从运行方式看，它是在依据已学参数和当前上下文预测词元。

为什么同一提示词会得到不同回答？

从多个合理下一词元中采样时，早期的一次不同选择会改变之后所有概率。确定性设置能减少变化，但不能保证重复出现的回答就是正确的。

模型可以引用自己的来源吗？

只有来源通过上下文、检索或工具提供，且系统保留了对应关系时才可靠。仅凭模型权重生成的引用可能是虚构的，使用前必须核验。