Was ist Modell-Fallback?

Warum das nicht optional ist

Ein Ablauf mit einem einzigen Anbieter erbt dessen Verfügbarkeit exakt. Besonders Ratenbegrenzungen sind keine seltenen Ereignisse — sie sind die normale Folge einer belebten Stunde — und ein Ablauf ohne Fallback bleibt schlicht stehen.

Fallback verwandelt einen harten Fehler in eine verschlechterte Antwort. Ob das eine Verbesserung ist, hängt vollständig davon ab, ob man es Ihnen sagt.

Die Reihenfolge wählen

Die naheliegende Reihenfolge ist „das nächstbeste Modell“, aber die ist oft falsch. Scheiterte die erste Wahl, weil die Anfrage zu lang war, scheitert ein kleineres Modell ebenso. Lehnte sie aus inhaltlichen Gründen ab, lehnt ein ähnliches ähnlich ab.

Eine nützlichere Reihenfolge ändert etwas Strukturelles: einen ganz anderen Anbieter oder ein lokales Modell mit anderen Regeln statt eines Geschwisters, das genauso scheitert.

Die gefährliche Variante

Stiller Fallback ist ein System, das klammheimlich mit einem anderen Modell antwortet und nichts sagt. Sie bekommen eine schlechtere Antwort, schreiben sie in Gedanken dem gewählten Modell zu und ziehen einen falschen Schluss über dieses Modell.

Überschreitet der Fallback eine Datenschutzgrenze, ist es schlimmer als ein falscher Schluss. Von einem lokalen Modell zu einem Cloud-Anbieter zu wechseln schickt Daten genau dorthin, wohin die Nutzerin sie ausdrücklich nicht schicken wollte. Eine Kette, die die lokale Ausführung verlassen kann, sollte eine sein, der ausdrücklich zugestimmt wurde.

Wie ClawAI es macht

Routing-Modi definieren eigene Ketten, und der Nur-lokal-Modus hält seine auf lokalen Anbietern, statt nach einem Cloud-Modell zu greifen, wenn das lokale ausgelastet ist. Jede Nachricht hält das tatsächlich antwortende Modell fest, sodass ein Fallback im Nachhinein sichtbar ist statt aus einem Tonwechsel erschlossen.

Häufige Fragen

Ist Fallback dasselbe wie ein Wiederholungsversuch?

Ein Wiederholungsversuch schickt dieselbe Anfrage an dasselbe Modell, was bei einem vorübergehenden Fehler hilft. Fallback wechselt das Modell, was hilft, wenn das erste die Anfrage überhaupt nicht bedienen kann. Robuste Systeme tun beides, in dieser Reihenfolge.

Sollte Fallback jemals von lokal in die Cloud wechseln?

Nur wenn die Nutzerin darum gebeten hat. Lokale Ausführung wird meist aus einem Grund gewählt, den ein Fallback nicht wahren kann — sicher ist daher, zu scheitern und es zu sagen, statt woanders zu gelingen.

Wie viele Modelle sollte eine Kette haben?

Zwei oder drei genügen meist. Lange Ketten fügen vor allem Latenz hinzu, weil jeder gescheiterte Versuch in Zeit bezahlt wird, bevor der nächste beginnt.