Contexto
¿Qué es una ventana de contexto?
La ventana de contexto es cuánto texto puede considerar un modelo en una petición. Por qué no es memoria, por qué llenarla degrada la calidad y cómo dispara el coste.
Todas las guías · Última revisión:
No es memoria
Un modelo no recuerda tu conversación anterior. Lo que crea la ilusión de memoria es que la aplicación reenvía los mensajes previos con cada nueva petición. La ventana es espacio de trabajo para una llamada, no almacenamiento.
Esto tiene una consecuencia directa que la gente descubre por sorpresa: una conversación larga se encarece con cada mensaje, porque todo el historial se reenvía y se vuelve a cobrar cada vez.
Una ventana llena no es una ventana bien usada
Una ventana grande es un margen, no un objetivo. Los modelos atienden de forma desigual a lo largo de un contexto extenso: lo que está en mitad de una entrada muy larga tiene más papeletas de recibir poca atención que lo que está en los extremos.
En la práctica, diez páginas enfocadas suelen ganar a doscientas dispersas. La recuperación existe justamente para elegir esas diez páginas en vez de mandarlo todo y confiar.
Cómo dispara el coste
Casi todos los proveedores facturan por token, entrada y salida por separado, y la entrada suele ser más barata. Un documento grande adjunto a cada mensaje de una conversación larga se cobra en cada mensaje, no una vez.
Es la causa más frecuente de una factura sorprendente, y la solución es estructural: adjunta lo que la pregunta necesita en vez de todo lo que podría venir al caso.
Preguntas frecuentes
- ¿Una ventana más grande es siempre mejor?
- Quita un límite, lo cual está bien, pero no mejora cómo usa el modelo lo que recibe. Una ventana mayor sobre todo te compra la posibilidad de cometer un error más caro.
- ¿Qué es un token?
- Aproximadamente un fragmento de palabra. En inglés salen unas tres cuartas partes de palabra por token, así que mil tokens son unas setecientas cincuenta palabras. Varía mucho por idioma, y los alfabetos no latinos suelen gastar más tokens por palabra.
- ¿Qué pasa si la supero?
- La petición falla, o la aplicación descarta en silencio los mensajes más antiguos. Lo segundo es más frecuente y más confuso, porque el modelo parece olvidar algo que dijiste.
Pruébalo en lugar de leer sobre ello
ClawAI registra los tokens que consumió cada mensaje, así que una conversación que se está encareciendo se ve antes de la factura y no después.