Contesto
Che cos’è la memoria di un assistente IA?
La memoria è ciò che un assistente conserva tra le conversazioni. Come differisce dalla finestra di contesto, quanto costa in token e la questione della riservatezza.
Tutte le guide · Ultima verifica:
Come funziona davvero
L’applicazione decide che qualcosa vale la pena conservare — una preferenza, un fatto, un’istruzione permanente — e lo annota. In una conversazione successiva seleziona le voci rilevanti e le aggiunge alla richiesta prima che il modello la veda.
Quindi la memoria è recupero su un archivio di fatti su di te, non qualcosa che accade dentro il modello. Il che significa che vale solo quanto valgono le decisioni su cosa conservare e cosa reintrodurre.
Non è gratis
Ogni fatto ricordato reintrodotto in una conversazione sono token di input, addebitati a ogni messaggio che li porta. Una memoria grande iniettata senza criterio è una tassa permanente su ogni conversazione.
Le buone implementazioni sono selettive: riportano ciò che è rilevante per questa conversazione invece di tutto ciò che sanno.
La questione della riservatezza
La memoria implica un archivio duraturo di fatti personali, che è una situazione diversa da una conversazione che puoi cancellare. Le domande utili sono dove è conservato, se puoi leggerlo per intero, se puoi cancellare singole voci e se viene inviato al fornitore del modello quando reintrodotto.
L’ultima è quella che sfugge. Un fatto ricordato che viene iniettato in un prompt va dove va quel prompt.
Domande frequenti
- La memoria addestra il modello sui miei dati?
- Di per sé no. La memoria mette testo in un prompt; l’addestramento cambia i pesi del modello. Se un fornitore si addestri sui prompt è una questione separata e dipende dai suoi termini.
- Perché l’assistente ricorda qualcosa di sbagliato?
- Perché ha annotato qualcosa che una volta era vero, o ha letto un commento di passaggio come una preferenza permanente. Poter leggere e modificare l’archivio direttamente è l’unico vero rimedio.
- La memoria equivale a una conversazione lunga?
- No. Una conversazione lunga conserva tutto e lo paga a ogni messaggio. La memoria conserva fatti selezionati e sopravvive alla fine della conversazione.
Provalo invece di leggerne
La memoria in ClawAI è un insieme di voci archiviate e ispezionabili invece di un profilo opaco, e può essere abbinata all’esecuzione locale perché i fatti ricordati restino su hardware che controlli.