Orquestração
O que é verificação de respostas de IA?
Verificar é conferir uma resposta contra algo diferente do modelo que a produziu. Por que a independência é tudo e quanto vale de fato uma autoverificação.
Todos os guias · Última revisão:
A independência é a ideia inteira
Se um modelo inventa um fato por causa de algo no treino, perguntar a esse modelo se o fato é verdadeiro consulta a mesma fonte que o inventou. Verificação e erro têm causa comum, então a verificação passa.
Um verificador útil muda algo. Outro modelo, uma busca em documentos reais, um compilador, uma suíte de testes, um validador de esquema. Quanto mais diferente o verificador for do gerador, mais ele pega.
Tipos de verificação, do mais fraco ao mais forte
Autorrevisão: o modelo relê a resposta. Barata, pega sobretudo formatação e contradições internas. Revisão cruzada: outro modelo confere. Melhor, pega erros específicos do primeiro. Recuperação: a afirmação é conferida contra documentos recuperados. Forte para afirmações factuais. Execução: o código roda, o esquema valida, os testes passam. A mais forte, e só disponível onde a resposta é executável.
O padrão é que a força acompanha a independência em relação ao modelo, e a disponibilidade vai no sentido oposto: as verificações mais fortes só existem para certos tipos de trabalho.
Verificação e reparo
Um verificador que só relata o problema deixa você onde estava. Na prática a verificação vem acompanhada de reparo: a falha e o motivo voltam a um modelo, que produz uma resposta corrigida, que é conferida de novo.
Esse laço precisa de limite. Sem ele, um modelo incapaz de corrigir seguirá produzindo variações do mesmo erro a preço cheio.
Perguntas frequentes
- Pedir ao modelo que confira ajuda?
- Um pouco, e sobretudo para incoerência interna mais do que para erro factual. É a forma mais fraca de verificação e a mais fácil de superestimar.
- Verificação por recuperação é o mesmo que RAG?
- Usam a mesma maquinaria em direções opostas. O RAG recupera antes de gerar, para informar a resposta. A verificação por recuperação recupera depois, para conferi-la.
- Quantas tentativas de reparo fazem sentido?
- Uma ou duas. Se um modelo não corrigiu na segunda, as seguintes costumam ser reformulações do mesmo erro, e uma pessoa deveria olhar.
Experimente em vez de ler sobre isso
Verificação e reparo são dois dos 9 modos de orquestração do ClawAI, e ambos são medidos por tentativa: um laço de reparo não consegue acumular uma conta invisível.