Что такое память ИИ-ассистента?

Как это устроено на самом деле

Приложение решает, что нечто стоит сохранить — предпочтение, факт, постоянное указание — и записывает это. В следующем разговоре оно выбирает подходящие записи и добавляет их в запрос до того, как модель его увидит.

То есть память — это поиск по хранилищу фактов о вас, а не что-то происходящее внутри модели. А значит, она хороша ровно настолько, насколько хороши решения о том, что хранить и что возвращать.

Это не бесплатно

Каждый запомненный факт, возвращаемый в разговор, — это входные токены, тарифицируемые в каждом сообщении, которое его несёт. Большая память, вводимая без разбора, — это постоянный налог на все ваши разговоры.

Хорошие реализации избирательны: они возвращают то, что относится к этому разговору, а не всё, что знают.

Вопрос приватности

Память означает долговременное хранилище личных фактов, а это иная ситуация, чем разговор, который можно удалить. Стоит спрашивать: где оно хранится, можете ли вы прочитать его целиком, можете ли удалить отдельные записи и уходит ли оно поставщику модели при повторном вводе.

Последнее чаще всего упускают. Запомненный факт, вставленный в промпт, уходит туда же, куда уходит этот промпт.

Частые вопросы

Обучает ли память модель на моих данных?

Сама по себе нет. Память кладёт текст в промпт; обучение меняет веса модели. Обучается ли поставщик на промптах — отдельный вопрос, зависящий от его условий.

Почему ассистент помнит что-то неверно?

Потому что записал нечто, что было правдой однажды, или принял мимолётное замечание за постоянное предпочтение. Возможность читать и править хранилище напрямую — единственное настоящее лекарство.

Память — это то же, что длинный разговор?

Нет. Длинный разговор хранит всё и платит за всё в каждом сообщении. Память хранит отобранные факты и переживает окончание разговора.