Che cosa sono i token dell’IA?

Un token non è una parola, né un carattere

Un tokenizer divide il testo in pezzi tratti da un vocabolario fisso appreso durante l’addestramento. Una parola breve e comune è spesso esattamente un token; una parola più lunga o rara può dividersi in due o tre; un singolo simbolo insolito può da solo occupare più di un token. Anche la punteggiatura, gli spazi e gli a-capo sono token, e non sono gratuiti.

Per questo il numero di token, il numero di parole e il numero di caratteri seguono percorsi indipendenti. Due frasi con lo stesso numero di parole possono usare un numero diverso di token, e riscrivere una frase con parole più brevi e comuni può ridurne il numero di token senza accorciarla come testo.

La tokenizzazione varia per lingua e per modello

Ogni modello arriva con il proprio tokenizer e il proprio vocabolario fisso, costruito sul testo con cui è stato addestrato. Le espressioni frequenti in quel testo di addestramento tendono a comprimersi in token meno numerosi e più lunghi; le espressioni rare tendono a dividersi in pezzi più numerosi e più corti.

Ne derivano due conseguenze dirette. Primo, la stessa frase può costare un numero di token sensibilmente diverso a seconda della lingua in cui è scritta, perché nessun vocabolario rappresenta due lingue allo stesso modo. Secondo, la stessa frase può costare un numero diverso di token su due modelli distinti, perché ciascuno ha il proprio vocabolario: un conteggio dal tokenizer di un modello non è una stima affidabile per un altro.

Una richiesta consuma token di input e token di output

Ogni richiesta ha due riserve di token, contate e di norma tariffate separatamente. I token di input sono tutto ciò che viene inviato al modello: istruzioni, la conversazione visibile, eventuali documenti allegati e i risultati degli strumenti. I token di output sono tutto ciò che il modello genera in cambio.

I token di input non sono un costo una tantum in una conversazione con più turni. Poiché ogni nuova richiesta rinvia la conversazione avuta fin lì, i messaggi precedenti ed eventuale materiale allegato vengono ricontati come input a ogni turno, non solo nel turno in cui sono stati aggiunti la prima volta.

I token sono l’unità in cui si misura una finestra di contesto

Una finestra di contesto è un budget espresso in token, condiviso tra input e output di una singola richiesta. «Che cos’è una finestra di contesto?» spiega come si comporta questo budget nella pratica; qui conta solo l’unità di misura — la finestra non si misura in parole, caratteri o messaggi, si misura in token, e input e output attingono dallo stesso totale.

Stimare il costo senza un numero fisso

Il costo basato sui token è una moltiplicazione: token usati per una tariffa fissata per modello. I fornitori fissano e cambiano quelle tariffe secondo il proprio calendario, e un modello più capace di solito costa di più per token rispetto a uno più piccolo, con i token di output in genere tariffati più cari di quelli di input. Nulla di tutto ciò rende utile pubblicare qui una cifra precisa: una tariffa stampata su questa pagina sarebbe sbagliata entro pochi mesi.

Ciò che resta vero a prescindere dal listino attuale è la forma del costo: prompt più brevi e mirati e risposte più brevi e mirate usano meno token, e rinviare grandi allegati a ogni turno di una conversazione lunga è uno dei modi più comuni in cui il consumo di token cresce senza che nessuno l’abbia deciso.

Un numero esatto richiede il tokenizer proprio del modello

Una regola empirica sui token per parola è un’approssimazione valida per una lingua elaborata da un tokenizer, e non si trasferisce a un’altra lingua, un’altra scrittura o un altro modello. Anche la formattazione cambia il numero: codice, JSON e testo molto punteggiato tendono a tokenizzare in modo meno efficiente della stessa informazione scritta come prosa semplice.

Se un numero esatto è importante — perché una richiesta è vicina a un limite di contesto, o perché il costo va previsto con precisione — l’unico metodo affidabile è far passare il testo reale attraverso il tokenizer proprio del modello specifico, o un endpoint di conteggio, prima di inviarlo. Una stima basata su parole o caratteri è una supposizione travestita da numero.

Domande frequenti

Un token è la stessa cosa di una parola?

No. Una parola breve e comune è spesso un token, ma una parola più lunga o rara può dividersi in più token, e punteggiatura, spazi e a-capo contano come token a pieno titolo. Il numero di token e il numero di parole si corrispondono solo in modo approssimativo.

Perché la stessa frase usa un numero diverso di token in strumenti diversi?

Ogni strumento di solito riporta il conteggio del tokenizer di un modello specifico, e ogni modello ha il proprio vocabolario costruito sul proprio testo di addestramento. Un conteggio esatto per il tokenizer di un modello è solo una stima per un altro.

Una formattazione come codice o JSON usa più token del testo semplice?

Spesso sì. Indentazione, punteggiatura e simboli ripetuti sono essi stessi token, quindi un formato molto strutturato può usare notevolmente più token della stessa informazione scritta in frasi semplici.

Come posso sapere il numero esatto di token di una richiesta prima di inviarla?

Fai passare il testo esatto attraverso il tokenizer proprio del modello specifico, o un endpoint di conteggio che offre. Qualsiasi stima basata su numero di parole o caratteri resta approssimativa, e l’errore cresce con le differenze di lingua, scrittura e formattazione.