Orchestrazione
Che cos’è la verifica delle risposte IA?
Verificare significa confrontare una risposta con qualcosa di diverso dal modello che l’ha prodotta. Perché l’indipendenza è tutto e quanto vale un autocontrollo.
Tutte le guide · Ultima verifica:
L’indipendenza è tutta l’idea
Se un modello inventa un fatto per qualcosa nel suo addestramento, chiedere a quel modello se il fatto è vero consulta la stessa fonte che l’ha inventato. Controllo ed errore hanno una causa comune, quindi il controllo passa.
Un verificatore utile cambia qualcosa. Un altro modello, una ricerca su documenti reali, un compilatore, una suite di test, un validatore di schema. Più il verificatore differisce dal generatore, più può intercettare.
Tipi di verifica, dal più debole al più forte
Autorevisione: il modello rilegge la risposta. Economica, intercetta soprattutto formattazione e contraddizioni interne. Revisione incrociata: controlla un altro modello. Meglio, intercetta errori propri del primo. Recupero: l’affermazione è confrontata con documenti recuperati. Forte per le affermazioni fattuali. Esecuzione: il codice gira, lo schema valida, i test passano. La più forte, e disponibile solo dove la risposta è eseguibile.
Lo schema è che la forza segue l’indipendenza dal modello, e la disponibilità va nel verso opposto: i controlli più forti esistono solo per certi tipi di lavoro.
Verifica e riparazione
Un verificatore che si limita a segnalare un problema ti lascia dov’eri. In pratica la verifica si accompagna alla riparazione: il fallimento e la sua ragione tornano a un modello, che produce una risposta corretta, che viene ricontrollata.
Quel ciclo ha bisogno di un limite. Senza, un modello incapace di risolvere continuerà a produrre varianti dello stesso errore a prezzo pieno.
Domande frequenti
- Chiedere al modello di ricontrollare serve?
- Un po’, e soprattutto per l’incoerenza interna più che per l’errore fattuale. È la forma più debole di verifica e la più facile da sopravvalutare.
- La verifica per recupero è la stessa cosa del RAG?
- Usano lo stesso meccanismo in direzioni opposte. Il RAG recupera prima di generare, per informare la risposta. La verifica per recupero recupera dopo, per controllarla.
- Quanti tentativi di riparazione sono sensati?
- Uno o due. Se un modello non ha risolto al secondo, i successivi di solito sono riformulazioni dello stesso errore, e dovrebbe guardare una persona.
Provalo invece di leggerne
Verifica e riparazione sono due delle 9 modalità di orchestrazione di ClawAI, ed entrambe sono misurate per tentativo: un ciclo di riparazione non può accumulare una bolletta invisibile.