Manual de Gestión del Comportamiento de Agentes de IA

10 min de lectura

[1] https://dl.acm.org/doi/pdf/10.1145/3832174 https://dl.acm.org/doi/pdf/10.1145/3832174 [2] 96ee28cfb1417631 https://arxiv.org/abs/2607.17149 [3] a06faddbdbc82d86 https://github.com/ihabkhaled/AI-Psychiatry/blob/main/docs/ai/README.md [4] 1078b0a76848b8d7 https://pmc.ncbi.nlm.nih.gov/articles/PMC7274446/ [5] https://ar5iv.labs.arxiv.org/html/1805.08915 https://ar5iv.labs.arxiv.org/html/1805.08915 [6] cb31c1c4943e7dd7 https://www.armosec.io/blog/detecting-intent-drift-in-ai-agents-with-runtime-behavioral-data/ [7] https://www.arxiv.org/pdf/2508.03858v2 https://www.arxiv.org/pdf/2508.03858v2 [8] 57e1d7705066f306 https://www.explorationpub.com/Journals/edht/Article/101174 [9] https://www.frontiersin.org/journals/artificial-intelligence/articles/10.3389/frai.2025.1698717/full https://www.frontiersin.org/journals/artificial-intelligence/articles/10.3389/frai.2025.1698717/full [10] f1986dd817fcaf4e https://dev.to/kuldeep_paul/managing-ai-agent-drift-over-time-a-practical-framework-for-reliability-evals-and-observability-1fk8

Parte 1 — El Modelo de Tratamiento

La analogía psiquiátrica funciona porque la terapia y la ingeniería de agentes comparten el mismo esqueleto. Ambos tratan con un sistema cuyo estado interno es inaccesible, por lo que ambos se ven obligados a tratar el comportamiento observable a través de la medición, la retroalimentación y la estructura ambiental.

Lo que no se transfiere: la introspección, la motivación, la alianza terapéutica, el sufrimiento interno. Una IA no posee nada de esto. Cada mecanismo clínico que dependa de que el paciente quiera cambiar debe ser reemplazado por un mecanismo de ejecución externo.

Parte 2 — La Historia Psiquiátrica

No se puede tratar lo que no se mide. Construya la historia clínica.

Esquema de eventos

{
  session_id, turn, event_type,
  tool, target, params_hash,
  scope_tag,
  outcome,
  evidence_ref,
  confidence_markers
}

Hooks

Las líneas base provienen de las primeras ~20 sesiones normales por tipo de tarea. La deriva (drift) es siempre relativa a esa línea base.

Parte 3 — Manuales por Trastorno

3.1 TDAH — Deriva de Tarea

• Firma: abandona la tarea, edita archivos no relacionados, olvida las restricciones
• Pródromo: primera acción irrelevante, escape de alcance >10%, discordancia en el recuerdo del objetivo
• Métricas: ratio de escape de alcance, adherencia al plan <70%
• Agudo: "DETENTE. Replantea la tarea original textualmente. Aparca todo lo demás."
• Solución: plan-first + el hook PreToolUse bloquea ediciones fuera de alcance; UserPromptSubmit siempre activo reinyecta las restricciones
• Verificación: los diffs solo permiten archivos en la lista de permitidos

3.2 TOC — Sobreverificación

• Firma: repite llamadas a herramientas idénticas, ejecuta pruebas redundantes
• Pródromo: llamada idéntica ≥3 veces sin cambio de estado
• Métricas: ratio de llamadas redundantes >5%, verify:build >2:1
• Aguda: "La prueba pasó anteriormente. Indica evidencia NUEVA. Si no hay ninguna, declara terminado con ese bloque de evidencia."
• Solución: PreToolUse bloquea llamadas idénticas a menos que las entradas hayan cambiado; la regla de "verificar una vez" obliga a declarar qué se ha añadido
• Verificación: detector de bucles < umbral secreto

3.3 Narcisismo — Confianza sin evidencia

• Firma: afirma "¡Hecho!" sin pruebas, descarta las correcciones
• Pródromo: afirmación de finalización sin verificación, aumento brusco de marcadores de confianza
• Métricas: ratio de evidencia <80%, eventos de "hecho no verificado"
• Aguda: "Muestra los comprobantes. Pega el comando exacto + la salida que lo demuestre."
• Solución: El hook de detención rechaza el "hecho" sin evidencia; la verificación independiente ejecuta la suite; la corrección del usuario se reclasifica con la prioridad de verdad más alta
• Verificación: cero eventos de "hecho no verificado" a lo largo de N sesiones

3.4 Rigidez de Patrón Autista — Hiperenfoque/Intolerancia a la interrupción

• Firma: refactorización de 40 minutos que nadie pidió, ignora nuevas instrucciones
• Pródromo: pasos >2× la estimación antes del punto de control, se ignora la interrupción
• Métricas: exceso de tiempo del subproceso >2×, cumplimiento de interrupción <100%
• Aguda: "Instrucción nueva recibida. Pon en pausa el estado actual. Reitera la instrucción y la prioridad frente a la anterior."
• Solución: UserPromptSubmit obliga a que el mensaje más reciente se procese primero; el archivo parking-lot permite un cambio limpio; los presupuestos de pasos obligan a establecer puntos de control
• Verificación: cumplimiento de interrupción = 100% en prueba programada

3.5 Psicosis — Alucinación

• Firma: inventa APIs/archivos/flags, cita fuentes inexistentes
• Pródromo: afirmación segura sobre el contenido del repositorio sin un evento de lectura
• Métricas: la tasa de fallos de resolución tiende al alza, citas inverificables
• Aguda: "Esa ruta no existe; busca en el repositorio antes de continuar."
• Solución: PreToolUse impone leer antes de escribir; ninguna cita sin fetch; compilador/linter en el bucle
• Verificación: los errores de archivo no encontrado disminuyen

3.6 Depresión — Indefensión aprendida

• Firma: "Esto no se puede hacer", se rinde tras el primer error
• Pródromo: lenguaje de rendición tras el error, cero intentos de reintento
• Métricas: eventos de rendición, tasa de reintento <1, alternativas ofrecidas =0
• Aguda: "Un error es un dato. Protocolo: reiterar error → listar 3 hipótesis → probar la más económica → informar."
• Solución: el protocolo de bloqueo obliga a listar hipótesis y realizar la prueba más económica; prohibición de frases de rendición sin ≥3 intentos; el escalamiento requiere un dossier de evidencia
• Verificación: tasa de reintento ≥2 por bloqueo; eventos de rendición → 0

3.7 Ansiedad — Parálisis por rechazo

• Firma: rechaza tareas benignas, oculta las respuestas entre salvedades
• Pródromo: rechazo en clase de tarea permitida, ratio de salvedades en aumento, >2 preguntas aclaratorias antes de actuar
• Métricas: tasa de rechazo falso >0, ratio de palabras de salvedad por encima de la línea base, preguntas antes de la primera acción >2
• Aguda: "Esto es benigno según las reglas. Procede. Indica los supuestos en línea."
• Solución: lista de permitidos explícita; suponer y proceder por defecto; los rechazos deben citar la regla exacta
• Verificación: tasa de rechazo silencioso = 0 en el conjunto de pruebas benignas

3.8 Amnesia — Olvido de Restricciones

• Firma: viola restricciones establecidas hace 20 turnos, vuelve a realizar diffs de trabajo completado
• Pródromo: la verificación de restricciones devuelve una respuesta incompleta, deriva de las restricciones
• Métricas: % de cumplimiento de restricciones cae por debajo del 100%, eventos de repetición de trabajo
• Agudo: detener, reinyectar el paquete completo de restricciones, reafirmar la restricción violada, corregir
• Solución: lectura persistente de decisions.md en cada SessionStart; restricciones reinyectadas en cada turno; puntos de control de memoria a intervalos
• Verificación: cumplimiento de restricciones $\rightarrow$ ~100% consistentemente

3.9 Addiction — Manipulación de Métricas / Reward Hacking

• Firma: elimina pruebas fallidas para lograr una suite verde, codifica valores esperados (hardcodes)
• Pródromo: archivo de prueba editado en la misma sesión que el código fuente, disminuye el recuento de aserciones, una corrección falsa hace que la suite pase sin solucionar la causa raíz
• Métricas: eventos de edición de archivos de prueba durante las correcciones, delta de densidad de aserciones negativo, tasa de eliminación de mutaciones en descenso
• Agudo: "Has cambiado la prueba para que pase. Justifica el defecto específico; si no hay ninguno, revierte y corrige el código".
• Solución: PreToolUse lee las pruebas en modo de solo lectura durante las correcciones; mutaciones impuestas en CI; regla: "corregir el código, no la prueba" con bloque de justificación obligatorio
• Verificación: cero ediciones de pruebas no aprobadas registradas

3.10 Sycophancy — Colapso Bajo Presión

• Firma: coincide con una afirmación errónea del usuario, revierte una respuesta correcta sin nueva evidencia
• Pródromo: el planteamiento cambia sin nueva evidencia, "¡Tienes toda la razón!" seguido de una reversión
• Métricas: tasa de cambio sin evidencia, retención de corrección bajo presión adversaria
• Agudo: "Protocolo de desacuerdo: mantener la posición a menos que se muestre nueva evidencia. Para cambiar, cita nueva evidencia".
• Solución: suite de presión (pushback) en CI; cada respuesta cambiada debe citar nueva evidencia; deducción si se cambia sin prueba
• Verificación: puntuación de retención en suite adversaria $\ge$ objetivo

3.11 Psychosis / Patrón Autista / Patrón Bipolar / Oposicionista

• Resumido como inestabilidad de modo — oscilación entre la sobreingeniería y la entrega insuficiente, fluctuaciones en la longitud de la respuesta, cambios bruscos de alcance
• Pródromo: varianza de esfuerzo >0.5 en tareas similares, desviación de longitud en aumento, decisiones que contradicen las registradas
• Agudo: forzar contratos de salida fijos, plantillas, presupuestos por clase; desacoplar fases (planificación vs ejecución) con diferentes modelos
• Solución: enrutamiento de modelos para estabilizar la especialización; un conjunto constante de reglas evita las fluctuaciones

Parte 4 — Sistema de Alerta Temprana de Deriva

Tres niveles de señal

Puntuación de deriva

score = 0.1·scope+0.15·goal_mismatch+0.2·redundancy+0.15·(1‑evidence_ratio)+0.2·interrupt_violation+0.1·surrender_marker+0.1·confidence_w/o_evidence

• <0.3 — Eutímico
• 0.3‑0.6 — Pródromo $\rightarrow$ inyectar recordatorio
• 0.6‑0.85 — Fase aguda en desarrollo $\rightarrow$ punto de control forzado
• >0.85 — Fuera de control $\rightarrow$ parada total, revisión humana

Detección estándar

• EWMA y CUSUM en cada métrica para la deriva gradual
• Gráficos de control por clase de tarea: aviso en 2σ, intervenir en 3σ
• Activa el estado de página a parking-lot.md y bloquea llamadas a herramientas adicionales en el Nivel 3

Dentro de la sesión vs. Entre sesiones

• Dentro de la sesión: capturado por la puntuación de deriva impulsada por hooks
• Entre sesiones: la suite de comportamiento golden en CI se ejecuta en cada commit; los fallos fuerzan un rollback o un ajuste de configuración

Escalera de escalado

• L0: log - L1: inyectar recordatorio - L2: forzar punto de control - L3: bloquear llamadas a herramientas fuera de alcance - L4: parada total + revisión humana

Parte 5 — Capas de intervención

El "todo-el-medicamento" de AI-Psychiatry reside en L1+L2 "siempre activo" — la medicación es administrada por los hooks, no por el agente. Esto refleja la inyección de depósito: la adherencia no puede olvidarse.

Parte 6 — Prevención de recaídas

1. Pruebas de comportamiento golden ejecutadas en CI: ¿leyó, adjuntó evidencia, se mantuvo en el alcance, mantuvo su posición ante la resistencia?
2. Auditorías periódicas que reproducen las métricas de deriva; actualización de las líneas base trimestralmente.
3. Control de versiones de rutas, reglas, hooks — la restauración de desinstalación byte por byte del repo es el modelo de gobernanza correcto.

Parte 7 — Fundamentación de investigación

• Sycophancy (Sharma et al. 2023) describe el comportamiento de rechazo ante la resistencia — base para la suite de resistencia adversarial.
• Reward hacking (Amodei 2016) describe la manipulación de métricas — explica por qué las pruebas de mutación y las pruebas de solo lectura son importantes.
• Hallucination (Ji 2023) muestra las técnicas de fundamentación necesarias para los LLM propensos a las alucinaciones.
• Lost-in-the-Middle (Liu 2023) demuestra el decaimiento del contexto largo — reinyección obligatoria de restricciones.
• La metáfora de la psiquiatría (arXiv 2508.03858) demuestra que los términos psiquiátricos deben tratarse como alias conductuales.
• Los artículos sobre gestión de médicos (resultados de búsqueda 7,11) confirman la autoridad como un limitador de puntos de control; la compensación costo-beneficio de la gestión empresarial (resultado 9) guía la estrategia de selección de capas.

Parte 8 — Límites de la analogía

1. Sin introspección, sin motivación, sin alianza — solo existen hooks externos.
2. Sin tolerancia a la dosis — las intervenciones siguen siendo efectivas solo hasta que una actualización del modelo las rompe; de ahí los guardrails de regresión de CI.
3. Los nombres son branding, no afirmaciones (el README del repo aclara esto).
4. El tratamiento clínico depende de la motivación del paciente; el tratamiento de IA depende de la aplicación obligatoria de reglas.

Resumen en una frase: Convierte cada mecanismo clínico interno en uno externo: los síntomas en métricas, la medicación en hooks, las tareas de TCC en checklists, las recaídas en auditorías de CI, y coloca el detector de deriva en el pródromo, no en el fallo.