Affidabilità in ClawAI: fallback, interruttori e stream riprendibili

Passaggio automatico a un altro modello

Ogni richiesta instradata porta con sé un elenco di modelli candidati. Se il modello scelto fallisce a metà richiesta, ClawAI passa automaticamente al candidato successivo, e la risposta registra quale modello ha effettivamente risposto, non solo quello scelto per primo.

Un interruttore condiviso per i provider esauriti

Quando l’account di un provider esaurisce il credito, un interruttore toglie quel provider dalla rotazione per dieci minuti, poi lascia passare una singola chiamata di prova per vedere se si è ripreso. Lo stato dell’interruttore è condiviso in Redis tra tutti i server di chat, così un guasto viene appreso una volta sola invece di essere riscoperto da ogni server, e ogni server ripiega sulla propria copia se Redis non è disponibile.

Uno Stop che ferma sempre, stream che riprendono

La pressione di Stop viene trasmessa a tutti i server di chat, così quello che sta eseguendo il modello lo interrompe. Se la connessione cade mentre una risposta è in streaming, alla riconnessione gli eventi persi vengono riprodotti da un buffer invece di perdere il resto della risposta.

Domande frequenti

Cosa succede se un modello fallisce a metà di una risposta?

ClawAI passa automaticamente al modello candidato successivo, e la risposta mostra quale modello l’ha effettivamente prodotta.

Da cosa protegge l’interruttore dei provider?

Dall’account di un provider che ha esaurito il credito. Viene saltato per dieci minuti e poi testato con una chiamata, invece di far fallire ogni richiesta contro di lui nel frattempo.

Perdo una risposta se la connessione cade?

No. Quando lo stream si riconnette, gli eventi persi vengono riprodotti da un buffer lato server e la risposta prosegue.