Routage de modèles et orchestration dans ClawAI

Sept modes de routage, pas un seul réglage caché

ClawAI classe chaque message et peut l’envoyer automatiquement à un modèle adapté, ou vous pouvez fixer la règle vous-même. Les modes : Auto (classe selon la tâche et choisit un modèle fort pour cette classe), Manual Model (fixe un modèle pour la conversation), Local-Only (chaque requête reste sur du matériel que vous contrôlez, via Ollama ou llama.cpp), Privacy-First (un mode distinct avec ses propres priorités pour garder une requête hors du chemin cloud généraliste), Low Latency (privilégie le modèle qui répond le plus vite), High Reasoning (privilégie le modèle de raisonnement le plus solide, sans égard à la vitesse ou au coût) et Cost Saver (privilégie le modèle le moins cher capable de traiter la requête). Voir « qu’est-ce que le routage de modèles IA », lié ci-dessous, pour le fonctionnement général d’un routeur.

Neuf façons de mettre plusieurs modèles sur un problème

Quand un modèle ne suffit pas, les primitives d’orchestration de ClawAI — enregistrées sur le registre sous la surface ORCHESTRATION, distincte du chat ordinaire — sont Compare (jusqu’à cinq modèles sur une même requête, côte à côte), Consensus (synthétiser une réponse à partir de l’accord entre plusieurs modèles, et signaler les désaccords), Escalation (démarrer avec un modèle économique et monter automatiquement seulement si la qualité est insuffisante), Best-of-N (générer plusieurs candidats et garder le plus solide), Repair (corriger un défaut précis dans une réponse existante plutôt que la régénérer), Verify (un second modèle vérifie l’exactitude, avec une limite configurable de révisions), Role packs (une petite équipe de modèles spécialisés par rôle qui se relaient) Pipelines (enchaîner plusieurs de ces étapes en un flux nommé et rejouable) et Judge et Critic (un modèle indépendant note une réponse selon des critères explicites, avec un retour écrit du passage Critic sur les faiblesses). Compare et Judge sont chacun soumis individuellement au plan (COMPARE_MODE, JUDGE_MODE, CRITIC_REVIEW) ; voir « qu’est-ce que le consensus IA » et « qu’est-ce qu’un juge IA », tous deux liés ci-dessous, pour le fonctionnement de l’évaluation elle-même.

Ce qui se passe quand un fournisseur échoue en cours de requête

Une décision de routage n’est pas un pari unique : si le fournisseur ou le modèle vers lequel une requête a été envoyée échoue en cours de traitement, ClawAI peut basculer automatiquement vers un autre modèle, et la réponse enregistre quel modèle a réellement pris le relais — pas seulement celui choisi au départ. Voir « qu’est-ce que le basculement de modèle », lié ci-dessous, pour la manière dont cette décision de basculement elle-même est prise.

Questions fréquentes

Combien de modes de routage ClawAI propose-t-il ?

Sept : Auto, Manual Model, Local-Only, Privacy-First, Low Latency, High Reasoning et Cost Saver. Auto est le mode par défaut ; les six autres existent pour quand vous voulez décider vous-même, ou orienter le routage dans une direction précise.

Quelle différence entre Compare et Consensus ?

Compare montre la réponse de chaque modèle à la même requête côte à côte, avec latence et nombre de jetons par modèle, et vous laisse la lecture. Consensus synthétise une réponse à partir de l’accord entre modèles et signale les désaccords.

Puis-je voir quel modèle a réellement répondu, et pourquoi ?

Oui — chaque réponse porte le fournisseur et le modèle qui l’a produite, le raisonnement derrière le choix de routage, et ce qu’elle a coûté sur votre quota. Si un fournisseur a échoué et qu’un autre modèle a pris le relais, c’est également enregistré.