Chain-of-thought промптинг: как попросить модель рассуждать шаг за шагом

Что на самом деле делает запрос пошаговых рассуждений

Промпт вроде «разбери это шаг за шагом» или «покажи свои рассуждения перед итоговым ответом» просит модель изложить промежуточные шаги, а не сразу перейти к выводу. Для многошаговой задачи это может выявить ошибку на промежуточном шаге, которая иначе была бы скрыта внутри единого уверенно звучащего итогового ответа, — и это даёт вам что-то конкретное для проверки, а не только результат, которому нужно просто довериться.

Когда это помогает, а когда не нужно

Пошаговый промптинг обычно больше всего помогает в задачах с несколькими зависимыми шагами, несколькими ограничениями, которые нужно соблюсти одновременно, или расчётом, который стоит перепроверить, — многосоставная текстовая задача, решение с несколькими факторами, логика, которая должна быть цельной. Короткий вопрос в один шаг редко выигрывает от этого, а запрос такой техники всё равно добавляет длину, не меняя ответ. См. выбор модели для сложных рассуждений, ссылка ниже, о том, как это связано с подбором модели, созданной именно для такого типа задач.

Чего это не гарантирует

Просьба к модели рассуждать шаг за шагом не гарантирует правильный ответ, и уверенная, хорошо структурированная цепочка шагов всё равно может прийти к неверному выводу — дополнительные шаги упрощают обнаружение ошибки, а не делают её невозможной. Это согласуется с тем, почему AI галлюцинирует, ссылка ниже: модель может выдать беглые, правдоподобно выглядящие рассуждения, которые всё же неверны, поэтому пошаговый ответ стоит проверять во всём, что важно, а не принимать на веру только потому, что он выглядит методичным.

Частые вопросы

Гарантирует ли chain-of-thought промптинг правильный ответ?

Нет — он не гарантирует правильность рассуждений, и пошаговый ответ всё равно может прийти к неверному выводу. Он, как правило, облегчает обнаружение ошибки в промежуточных шагах, а это не то же самое, что предотвращение самой ошибки.

Когда стоит просить модель показывать свои рассуждения?

В задачах с несколькими зависимыми шагами или ограничениями, где промежуточная ошибка иначе была бы скрыта внутри единого итогового ответа. Короткий вопрос в один шаг обычно в этом не нуждается.

Это то же самое, что использование модели, ориентированной на рассуждения?

Связано, но не то же самое — это руководство о том, как формулировать промпт для любой модели; выбор модели для сложных рассуждений, ссылка ниже, — о том, какая модель по умолчанию устроена так, чтобы прорабатывать шаги. Эти два подхода можно сочетать.