ベスト・オブ・Nサンプリングとは？

なぜ機能するのか

言語モデルの出力はサンプリングされるものであり、決定的ではありません。同じプロンプトの二回の実行は品質の異なる回答を返します。モデルの良い回答が悪い回答を上回るなら、複数のサンプルを取ることで少なくとも一つが良い確率が上がります。

それが仕組みのすべてです。モデルを賢くするのではなく、モデルが既に持つ能力に対してより多くの機会を与えるのです。

勝者を選ぶことが難しい部分

候補を生成することは簡単です。それらの間で選ぶことが本当の問題であり、この手法の価値の大部分と失敗の大部分がそこにあります。

コンパイルされるか、テストが通るか、スキーマを満たすかといった自動チェックによる選択は、選択がモデルから独立しているため群を抜いて信頼できます。別のモデルによる選択はジャッジであり、そのページのすべての注意点が当てはまります。人間による選択が最も正確ですが最もスケールしません。

Nの選び方

収穫は急速に減ります。一つの候補から三つへは大きな改善ですが、三つから十へは三倍以上のコストに対してわずかな改善です。ほとんどの実用的な用途は三から五の間に収まります。

Nはコストをそのまま倍増させます。五つの候補は生成トークンの五倍に加え、選択にかかるコストです。

いつ使わないか

良い回答と悪い回答を見分ける方法が全くないなら、ベスト・オブ・Nは助けになりません。より大きな山からランダムに選び、その特権のためによけいに支払うことになります。その自然な居場所は客観的なチェックのある作業です。コード、構造化された出力、パースできるかできないかがはっきりするものです。

よくある質問

ベスト・オブ・Nは温度を上げることと同じですか？

いいえ、両者は相互作用しますが。温度は各回答がどれだけ多様になるかを制御します。ベスト・オブ・Nはいくつ取り、どう選ぶかについてです。ある程度の多様性は役立ちます。同一の候補では選ぶ余地がないからです。

候補ごとに異なるモデルを使えますか？

はい、しばしば有効です。モデルは異なる仕方で失敗するため、一つのモデルからの繰り返しサンプルよりも集合が多様になります。この段階では選択を伴うコンセンサスに近いものになります。

事実の正確さに役立ちますか？

選択器が事実誤りを検出できる場合に限ります。外部チェックがなければ、自信のある回答同士から選んでいるだけであり、自信は正確さではありません。