Contexte
Qu’est-ce que la mémoire d’un assistant IA ?
La mémoire est ce qu’un assistant conserve entre les conversations. Sa différence avec la fenêtre de contexte, son coût en tokens et la question de confidentialité.
Toutes les explications · Dernière vérification:
Comment cela marche réellement
L’application décide que quelque chose mérite d’être conservé — une préférence, un fait, une consigne permanente — et l’écrit. Lors d’une conversation ultérieure, elle sélectionne les entrées pertinentes et les ajoute à la requête avant que le modèle la voie.
La mémoire est donc de la récupération sur un magasin de faits vous concernant, et non quelque chose qui se passe dans le modèle. Ce qui veut dire qu’elle ne vaut que ce que valent les décisions sur ce qu’on garde et ce qu’on réintroduit.
Ce n’est pas gratuit
Chaque fait mémorisé réintroduit dans une conversation, ce sont des tokens d’entrée, facturés à chaque message qui les porte. Une grande mémoire injectée sans discernement est un impôt permanent sur toutes vos conversations.
Les bonnes implémentations sont sélectives : elles ramènent ce qui est pertinent pour cette conversation plutôt que tout ce qu’elles savent.
La question de confidentialité
La mémoire suppose un magasin durable de faits personnels, ce qui est une situation différente d’une conversation que vous pouvez effacer. Les bonnes questions sont : où est-elle stockée, pouvez-vous la lire en entier, pouvez-vous supprimer des entrées précises, et est-elle envoyée au fournisseur du modèle lors de la réintroduction ?
C’est la dernière que l’on oublie. Un fait mémorisé injecté dans un prompt va là où va ce prompt.
Questions fréquentes
- La mémoire entraîne-t-elle le modèle sur mes données ?
- Pas en soi. La mémoire met du texte dans un prompt ; l’entraînement modifie les poids du modèle. Qu’un fournisseur s’entraîne sur les prompts est une autre question, qui dépend de ses conditions.
- Pourquoi l’assistant retient-il quelque chose de faux ?
- Parce qu’il a noté quelque chose qui fut vrai un jour, ou pris une remarque de passage pour une préférence permanente. Pouvoir lire et modifier le magasin directement est le seul vrai remède.
- La mémoire équivaut-elle à une longue conversation ?
- Non. Une longue conversation garde tout et le paie à chaque message. La mémoire garde des faits choisis et survit à la fin de la conversation.
Essayez plutôt que de lire
La mémoire dans ClawAI est un ensemble d’entrées stockées et consultables plutôt qu’un profil opaque, et elle peut être associée à l’exécution locale pour que les faits retenus restent sur du matériel que vous contrôlez.