跳至主要内容

上下文

什么是 AI 助手的记忆?

记忆是指 AI 助手在一次次独立对话之间持续保留下来的信息。这篇文章说明它和上下文窗口有什么本质区别、按 token 计算下来要付出多少代价,以及它由此带来的隐私方面的问题。

全部文章 · 最近核实:

它实际上是怎么运作的

应用程序判断某样东西值得保留——一个偏好、一个事实、一条永久性指令——然后把它记下来。在之后的对话中,它挑选相关的条目,在模型看到请求之前把它们加进去。

所以记忆是对一个关于你的事实存储库的检索,不是发生在模型内部的事情。这意味着它的好坏完全取决于「保留什么、重新引入什么」这些决定的好坏。

这不是免费的

每一条被重新引入对话的记住的事实,都是输入 token,会在携带它的每条消息上计费。不加区分地注入一份庞大的记忆,是对你所有对话征收的永久税。

好的实现是有选择性的:只带回和这次对话相关的内容,而不是它知道的一切。

隐私问题

记忆意味着一个持久存储的个人事实库,这和一段你可以删除的对话是不同的隐私情况。值得问的问题是:它存在哪里、你能不能读到全部内容、你能不能删除特定条目,以及重新引入时它是否会被发送给模型供应商。

最后一点是最容易被忽略的。被注入提示词的记住的事实,会去往那个提示词所去的任何地方。

常见问题

记忆会用我的数据训练模型吗?
本身不会。记忆是把文本放进提示词;训练是改变模型权重。供应商是否会用提示词来训练是另一个问题,取决于它自己的条款。
为什么助手会记错某件事?
因为它记下了某个曾经是真的东西,或者把一句随口的话误当成了永久偏好。能直接读取并编辑存储库,才是真正的解决办法。
记忆等同于长对话吗?
不是。长对话保留一切,并在每条消息上为此付费。记忆保留挑选出来的事实,即使对话结束也依然存在。

与其阅读,不如亲自试试

ClawAI 中的记忆是一组存储且可检查的条目,而不是一份不透明的档案,它可以和本地执行结合,让记住的事实留在你掌控的硬件上。