Cómo evaluar modelos de IA para tu propio uso

Un número de clasificación no es tu número

Los benchmarks públicos miden el rendimiento en un conjunto fijo de tareas que rara vez son idénticas a las tuyas: otro dominio, otro formato, otros tipos de fallo que te importan a ti. Un modelo puede estar cerca de la cima de un benchmark general y aun así rendir peor que uno más pequeño en tu tipo concreto de petición, porque el benchmark nunca probó nada parecido.

Las puntuaciones de benchmark también envejecen rápido y pueden verse afectadas por cuánto conocen los datos de entrenamiento de un modelo las preguntas exactas del benchmark, así que una puntuación alta es una pista que vale la pena investigar, no un veredicto en el que confiar sin más.

La única prueba fiable es tu propia tarea

Toma una muestra representativa de peticiones reales de tu caso de uso real —no ejemplos simplificados— y pásalas por los modelos candidatos. Juzga los resultados según lo que tú realmente aceptarías, no según una noción genérica de buena respuesta. Un modelo que escribe con elegancia pero se equivoca en la terminología de tu dominio es mala opción aunque suene bonito.

La calidad es solo una dimensión entre varias que se contraponen

El modelo con mejor puntuación de calidad suele ser también el más lento y el más caro por petición. Si esa contrapartida merece la pena depende del trabajo: un proceso por lotes en segundo plano suele poder permitirse un modelo más lento y barato; una respuesta de chat interactiva normalmente no puede permitirse una lenta, por buena que sea. Evaluar un modelo de forma aislada, solo por calidad, se salta justo la contrapartida que decide de verdad si es usable en tu producto.

Lo que puedes enviarle también es un criterio de evaluación

Un modelo con buena puntuación pero que exige enviar datos sensibles a un tercero por internet abierto puede no ser usable para una carga de trabajo dada al margen de la calidad —esa restricción hay que comprobarla antes de que la calidad importe siquiera, no después de haber elegido ya tu favorito—. Cuando una tarea implica datos que no puedes sacar de tu propia infraestructura, ejecutar el modelo en local (mira qué es la IA local) o autoalojado estrecha el campo antes de que los benchmarks entren siquiera en juego.

Todo modelo tiene puntos débiles conocidos: encuentra los tuyos antes de confiar en él

La tendencia conocida de un modelo a alucinar en preguntas fuera de su dominio, o su consistencia en tareas que exigen razonamiento cuidadoso paso a paso, importa al menos tanto como su puntuación media. Si tu caso de uso toca un dominio en el que el modelo tiende a adivinar, evalúa eso específicamente en lugar de suponer que una buena puntuación media lo cubre; mira por qué alucina la IA para entender por qué el rendimiento medio no predice el comportamiento en un punto débil concreto.

La evaluación no es una decisión de una sola vez

Los proveedores actualizan los modelos, a veces en silencio, bajo el mismo nombre y el mismo endpoint, y los precios y los límites de tasa cambian. Un modelo que era la elección correcta cuando lo evaluaste puede dejar de encajar más adelante. Tratar la elección de modelo como una decisión que se revisa periódicamente, en vez de algo fijado una vez al lanzarla, detecta ese desajuste antes de que se convierta en un problema de producción.

Preguntas frecuentes

¿Una puntuación de benchmark más alta es siempre la mejor opción?

No necesariamente. Los benchmarks prueban un conjunto fijo de tareas que puede no parecerse a las tuyas, y una puntuación más alta a menudo viene con más coste o latencia. La única forma de saberlo es probar el modelo con tus propias tareas representativas.

¿Cuántos casos de prueba necesito para evaluar bien un modelo?

Los suficientes para cubrir el rango de peticiones que tu caso de uso genera de verdad, incluidos los casos límite y el tipo de entradas que suelen salir mal. Unos pocos ejemplos fáciles harán que casi cualquier modelo parezca bueno; los casos más difíciles y representativos son donde salen a la luz las diferencias reales.

¿Debería reevaluar un modelo después de haberlo elegido ya?

Sí. Los proveedores actualizan los modelos bajo el mismo nombre, los precios y los límites de tasa cambian, y tu propio caso de uso evoluciona. Trata la elección como algo que se revisa periódicamente, no como algo fijado para siempre en el lanzamiento.

¿Necesito probar la privacidad y el tratamiento de datos por separado de la calidad?

Sí, y debería ir primero si descalifica una opción. La puntuación de calidad de un modelo es irrelevante si la carga de trabajo implica datos que no tienes permitido enviar a ese proveedor en primer lugar.