Enrutado
¿Qué es el respaldo entre modelos?
El respaldo es lo que pasa cuando el primer modelo falla: caído, limitado o negándose. Cómo funcionan las cadenas de respaldo y por qué el respaldo silencioso es peligroso.
Todas las guías · Última revisión:
Por qué no es opcional
Un flujo con un solo proveedor hereda exactamente su disponibilidad. Los límites de uso en particular no son sucesos raros: son la consecuencia normal de una hora con mucho tráfico, y un flujo sin respaldo simplemente se detiene.
El respaldo convierte un fallo duro en una respuesta degradada. Que eso sea una mejora depende por completo de que te avisen de que ha pasado.
Elegir el orden
El orden intuitivo es «el siguiente mejor modelo», pero suele estar mal. Si la primera opción falló porque la petición era demasiado larga, un modelo más pequeño también fallará. Si se negó por motivos de contenido, otro parecido se negará igual.
Un orden más útil cambia algo estructural: otro proveedor distinto, o un modelo local con otras reglas, en vez de un hermano que fallará por lo mismo.
La variante peligrosa
El respaldo silencioso es un sistema que responde discretamente con otro modelo y no te dice nada. Obtienes una respuesta peor, que atribuyes mentalmente al modelo que elegiste, y sacas una conclusión equivocada sobre ese modelo.
Cuando el respaldo cruza una frontera de privacidad es peor que una conclusión equivocada. Pasar de un modelo local a un proveedor en la nube manda datos justo adonde el usuario decidió no mandarlos. Una cadena que puede abandonar la ejecución local debería ser una cadena que el usuario aceptó de forma explícita.
Cómo lo hace ClawAI
Los modos de enrutado definen sus propias cadenas, y el modo solo local mantiene la suya en proveedores locales en vez de buscar un modelo en la nube cuando el local está ocupado. Cada mensaje registra el modelo que respondió realmente, así que un respaldo se ve después en lugar de deducirse por un cambio de tono.
Preguntas frecuentes
- ¿El respaldo es lo mismo que un reintento?
- Un reintento manda la misma petición al mismo modelo, lo que ayuda con un error pasajero. El respaldo cambia de modelo, lo que ayuda cuando el primero no puede atender la petición en absoluto. Los sistemas robustos hacen ambas cosas, en ese orden.
- ¿Debería el respaldo pasar nunca de local a nube?
- Solo si el usuario lo pidió. La ejecución local se elige normalmente por un motivo que un respaldo no puede respetar, así que lo seguro es fallar y decirlo en lugar de tener éxito en otro sitio.
- ¿Cuántos modelos debería tener una cadena?
- Dos o tres suelen bastar. Las cadenas largas sobre todo añaden latencia, porque cada intento fallido se paga en tiempo antes de que empiece el siguiente.
Pruébalo en lugar de leer sobre ello
Los modos de enrutado de ClawAI llevan sus propias cadenas de respaldo, y el modo solo local mantiene la suya en local en vez de alcanzar en silencio un proveedor en la nube.