O que é memória num assistente de IA?

Como funciona de fato

A aplicação decide que algo vale guardar — uma preferência, um fato, uma instrução permanente — e anota. Numa conversa posterior seleciona as entradas relevantes e as acrescenta à requisição antes de o modelo ver.

Então memória é recuperação sobre um repositório de fatos a seu respeito, não algo que aconteça dentro do modelo. O que significa que ela só é tão boa quanto as decisões sobre o que guardar e o que reintroduzir.

Não é de graça

Cada fato lembrado que volta a uma conversa são tokens de entrada, cobrados em cada mensagem que os carrega. Uma memória grande injetada sem critério é um imposto permanente sobre todas as suas conversas.

Boas implementações são seletivas: trazem de volta o que é relevante para esta conversa em vez de tudo o que sabem.

A questão da privacidade

Memória implica um repositório duradouro de fatos pessoais, o que é uma situação de privacidade diferente de uma conversa que você pode apagar. As perguntas que valem são onde fica guardado, se você pode ler tudo, se pode apagar entradas específicas e se é enviado ao provedor do modelo quando reintroduzido.

A última é a que escapa. Um fato lembrado injetado num prompt vai para onde esse prompt for.

Perguntas frequentes

A memória treina o modelo com meus dados?

Por si só, não. Memória coloca texto num prompt; treino muda pesos do modelo. Se um provedor treina com prompts é outra questão e depende dos termos dele.

Por que o assistente lembra algo errado?

Porque anotou algo que já foi verdade, ou leu um comentário de passagem como preferência permanente. Poder ler e editar o repositório diretamente é a única correção real.

Memória é o mesmo que uma conversa longa?

Não. Uma conversa longa guarda tudo e paga por tudo a cada mensagem. A memória guarda fatos selecionados e sobrevive ao fim da conversa.