Что такое наборы контекста?

Пробел, который они закрывают

Память автоматична: система сама решает, что сохранить и когда вернуть, — это удобно и неточно. Разовое вложение точно и одноразово: на следующей неделе вы снова собираете те же пять документов.

Набор — середина: собран однажды, осознанно, и применяется тогда, когда решаете вы. Ваши стандарты кода, терминология продукта, ограничения, которые работа обязана соблюсти.

Что туда кладут

Устойчивый материал, который иначе пришлось бы объяснять заново: стиль компании, отраслевой словарь, постоянные ограничения, форма вывода, которая нужна всегда.

Не кладут то, что меняется от вопроса к вопросу. Набор, который вы правите при каждом использовании, — это промпт с лишними шагами.

Цена и дисциплина

Набор — это входные токены в каждом сообщении, к которому он прикреплён, поэтому один большой набор, применяемый ко всему, — это та же проблема стоимости контекстного окна в новой форме. Несколько маленьких точных наборов выигрывают у одного большого общего.

Поскольку набор явный, он ещё и проверяем: можно прочитать ровно то, что отправляется, — чего не скажешь о памяти, которая собирается сама.

Частые вопросы

Чем это отличается от системного промпта?

Системный промпт — обычно один блок указаний, заданный однажды. Набор — именованная связка, которую вы прикрепляете и открепляете на разговор, и он может нести файлы и ссылки, а не только указания.

Можно ли использовать несколько сразу?

Да, и составлять маленькие — как раз и есть смысл: набор для языка плюс набор для стиля компании вместо одной связки на проект.

Заменяют ли наборы RAG?

Нет. Набор собран вручную и включается всегда; поиск отбирает из большого корпуса под конкретный вопрос. Наборы подходят устойчивому материалу; поиск — материалу, слишком большому, чтобы его прикреплять.