Zuverlässigkeit in ClawAI: Fallback, Schutzschalter und fortsetzbare Streams

Automatischer Fallback auf ein anderes Modell

Jede geroutete Anfrage trägt eine Liste von Kandidatenmodellen. Fällt das gewählte Modell mitten in der Anfrage aus, wechselt ClawAI automatisch zum nächsten Kandidaten, und die Antwort verzeichnet, welches Modell tatsächlich geantwortet hat, nicht nur das zuerst gewählte.

Ein gemeinsamer Schutzschalter für erschöpfte Anbieter

Hat ein Anbieterkonto kein Guthaben mehr, nimmt ein Schutzschalter diesen Anbieter für zehn Minuten aus der Rotation und lässt dann einen einzelnen Testaufruf durch, um zu prüfen, ob er sich erholt hat. Der Zustand des Schutzschalters wird über Redis zwischen allen Chat-Servern geteilt, sodass ein Ausfall einmal gelernt wird, statt von jedem Server neu entdeckt zu werden — und jeder Server greift auf seine eigene Kopie zurück, wenn Redis nicht verfügbar ist.

Stopp, der immer stoppt, und Streams, die weiterlaufen

Ein Druck auf Stopp wird an alle Chat-Server übertragen, sodass derjenige, auf dem das Modell gerade läuft, es abbricht. Bricht Ihre Verbindung ab, während eine Antwort gestreamt wird, spielt die Neuverbindung die verpassten Ereignisse aus einem Puffer nach, statt den Rest der Antwort zu verlieren.

Häufig gestellte Fragen

Was passiert, wenn ein Modell mitten in einer Antwort ausfällt?

ClawAI wechselt automatisch zum nächsten Kandidatenmodell, und die Antwort zeigt, welches Modell sie tatsächlich erzeugt hat.

Wovor schützt der Anbieter-Schutzschalter?

Vor einem Anbieterkonto, dessen Guthaben aufgebraucht ist. Es wird zehn Minuten lang übersprungen und dann mit einem Aufruf getestet, statt dass in der Zwischenzeit jede Anfrage daran scheitert.

Verliere ich eine Antwort, wenn meine Verbindung abbricht?

Nein. Sobald sich der Stream neu verbindet, werden die verpassten Ereignisse aus einem serverseitigen Puffer nachgespielt, und die Antwort geht weiter.