Che cos’è il routing dei modelli IA?

Su cosa decide un router

Quasi tutti combinano pochi segnali: che tipo di compito sembra, quanto è lungo l’input, quanto sono sensibili i dati, quanto in fretta serve la risposta e quanto può costare la richiesta.

Questi segnali confliggono. Il modello più veloce è di rado il più forte; l’opzione più riservata di rado la più capace. Un router è in realtà una politica su cosa sacrificare, perciò quelli utili ti lasciano dire cosa ti interessa invece di indovinarlo.

Routing automatico ed esplicito

Il routing automatico legge la richiesta e decide. È comodo e ogni tanto sbaglia, e sbagliare è difficile da notare se il sistema non dice quale modello ha risposto.

Il routing esplicito significa che indichi tu la priorità — questo resta in locale, questo resta economico, per questo usa il ragionamento migliore — e il router la rispetta. In pratica quasi tutti vogliono entrambi: un default sensato e la possibilità di scavalcarlo per la richiesta che hanno davanti.

Come il routing va storto

I due guasti comuni sono i declassamenti silenziosi e le decisioni invisibili. Un declassamento silenzioso è un router che manda di nascosto la tua richiesta curata a un modello economico. Una decisione invisibile è qualunque routing che non puoi verificare dopo.

Entrambi hanno lo stesso rimedio: il sistema deve registrare quale modello ha davvero risposto e mostrarlo. Un router che non puoi ispezionare è indistinguibile da un router rotto.

Come lo fa ClawAI

ClawAI ha 7 modalità di routing. Auto legge la richiesta e sceglie. Manuale fissa un modello. Solo locale tiene l’intera catena su modelli che girano sul tuo hardware. Riservatezza prima preferisce il locale e si rifiuta di uscirne in silenzio. Le altre inclinano la scelta verso meno latenza, ragionamento più forte o costo minore.

Ogni risposta registra il modello che l’ha prodotta: una decisione automatica si verifica invece di doverci credere.

Domande frequenti

Il routing peggiora la qualità delle risposte?

Può, se la politica non si adatta alla richiesta. Per questo la modalità la scegli tu e per questo viene mostrato il modello che ha risposto. Un routing che vedi e puoi scavalcare è un controllo di costo; uno che non vedi è un declassamento.

Un router può tenere i dati fuori dal cloud del tutto?

Solo se gli è permesso rifiutare invece di ripiegare. Una modalità «solo locale» la cui catena di fallback raggiunge un fornitore cloud non è un controllo di riservatezza. La modalità solo locale di ClawAI tiene la catena su fornitori locali.

Il routing conviene a una singola persona?

Di solito sì, più per il costo che per l’affidabilità. Quasi ogni carico individuale è fatto soprattutto di domande di routine con poche difficili; mandare quelle di routine a un modello più economico è la leva più grande su una bolletta personale.