Che cos’è l’IA locale?

Cosa cambia

I dati sono il motivo vero. Un prompt inviato a un modello ospitato viene elaborato da quel fornitore secondo i suoi termini. Un prompt a un modello locale non viene inviato da nessuna parte, l’unica versione di quella garanzia che non dipende dalla politica di un terzo.

Elimina anche la fatturazione a token, i limiti di frequenza e la possibilità che un modello venga ritirato sotto i tuoi piedi. Un modello scaricato continua a funzionare.

La forma del costo, non il costo

L’IA locale non è automaticamente più economica. Converte un costo variabile in uno fisso: compri o affitti hardware, e da lì l’inferenza è quasi gratuita al margine.

È un buon affare a volumi alti e costanti e un cattivo affare per l’uso occasionale. Una GPU ferma per gran parte della giornata costa più delle chiamate API che ha sostituito.

I limiti onesti

I modelli che girano comodamente su una singola macchina non sono in genere i più grandi disponibili. Sui compiti di ragionamento più duri il divario con un modello di frontiera ospitato è reale.

Per moltissimo lavoro quotidiano — riassumere, redigere, estrarre, classificare, codice di routine — il divario è molto più piccolo di quanto si creda, e le proprietà di riservatezza e costo contano spesso più dell’ultimo incremento di capacità.

Più utile in forma ibrida

Lo schema comune non è né solo locale né solo cloud. È locale per ciò che è sensibile o ad alto volume, ospitato per le domande più difficili, e una politica che decide cosa è cosa — esattamente ciò a cui serve un router.

Domande frequenti

Che hardware serve?

Dipende interamente da dimensione del modello e quantizzazione, e chi ti dà un numero unico sta tirando a indovinare. Il vincolo dominante è la memoria disponibile: i pesi devono starci, e ciò che ci sta determina cosa puoi eseguire.

L’IA locale è privata per definizione?

La chiamata al modello sì. Il resto dell’applicazione può non esserlo: ricerca, telemetria e altre integrazioni possono ancora uscire. La riservatezza è una proprietà dell’intero sistema, non di un componente.

I modelli locali possono usare i miei documenti?

Sì. Il recupero funziona allo stesso modo, e quando sia il recupero sia il modello sono locali i documenti non lasciano mai il tuo hardware.