言語モデルはどのように回答を生成するのか

文章はトークンとして入力される

生成前に、トークナイザーが指示、会話、ツールの結果、その他のコンテキストを分割します。トークンは単語全体、単語の一部、句読点などです。モデルが処理するのは人が見る文ではなく識別子なので、言語、表記、書式によってコンテキストウィンドウの消費量が変わります。

次のトークンを一つ予測する

それまでの並びに対し、ネットワークは語彙内の次の各候補へ確率を与えます。デコード規則が一つを選んで末尾に加え、再び計算します。停止トークンや設定上限までこのループが続きます。通常、事前保存された完成回答を検索しているわけではありません。

コンテキストが確率を変える

システム指示、質問、過去のメッセージ、提供文書は、アクティブなコンテキストに収まる間だけ確率へ影響します。最大確率の候補を選ぶと再現性が上がり、妥当な候補からサンプリングすると表現が変化します。温度などの設定は選び方を変えますが、新しい事実を追加しません。

生成はデータベース検索ではない

学習では文章のパターンが多数の数値的な重みに分散されます。その重みは出典住所付きの文章一覧ではありません。別の検索やツールがなければ、モデルは原資料を開いて主張を証明できません。そのため、自然な文章が既知のパターンを組み合わせ、根拠のない情報を作ることがあります。

実務で考えるべき限界

モデルは詳細を作り、曖昧な指示を誤解し、コンテキスト外の情報を失い、学習資料の偏りを繰り返し、計算や多段推論を誤ることがあります。重要な出力は下書きとして扱い、適切な文脈を与え、最新情報には検索やツールを使い、影響の大きい主張を独立した資料やテストで確認してください。

よくある質問

言語モデルは自分の回答を理解していますか？

複雑な関係を表現し、推論に見える文章を作れますが、それを人間の理解と呼ぶのは確認できる仕組みを超えた仮定です。動作としては、学習済みパラメータとコンテキストからトークンを予測しています。

同じプロンプトで回答が変わるのはなぜですか？

複数の妥当な候補からサンプリングすると、序盤の一つの違いが後続の全確率を変えます。決定的な設定はばらつきを減らしますが、同じ回答の正しさまでは保証しません。

モデルは出典を示せますか？

コンテキスト、検索、ツールで出典を渡し、その対応をシステムが保持した場合に限ります。重みだけから生成した引用は架空の可能性があるため、必ず確認が必要です。