Quando un’organizzazione adotta soluzioni basate su modelli come ChatGPT o Gemini, la percezione è quella di interagire con un software che “legge” e “scrive”. In realtà, il modello non elabora parole nel senso umano del termine: elabora token.

Il token non è un dettaglio tecnico per addetti ai lavori: è l’unità di misura che determina costo, tempi di risposta, limiti operativi e superficie di rischio (privacy, sicurezza, affidabilità). In altre parole: se i dati sono il “carburante”, i token sono il contatore.

Che cos’è un token (e perché incide sul budget)

Per un computer, il linguaggio naturale è troppo vasto e ambiguo per essere trattato come un insieme di “parole”. Gli LLM spezzano il testo in unità più piccole—i token—che possono essere:

• una parola intera (“scuola”)
• una parte di parola (“valuta-”, “-zione”)
• punteggiatura e simboli (“,”, “.”, “/”)
• sequenze frequenti di caratteri

Impatto economico

Nella maggior parte dei servizi di IA (soprattutto via API) non si paga “a domanda”, ma a consumo di token:

• token in input (prompt + documenti allegati/incollati)
• token in output (risposta generata)

Più testo dai al modello e più testo gli chiedi di produrre, più cresce il consumo.

Disparità linguistica (un tema spesso ignorato)

In media, 1.000 token corrispondono a circa 750 parole in inglese, ma questa equivalenza varia sensibilmente tra lingue. In italiano la frammentazione può essere maggiore: a parità di contenuto informativo, lo stesso testo può richiedere un 20–30% di token in più rispetto all’inglese.

Conseguenza pratica: se il tuo modello di costo è stato stimato su esempi in inglese (o su prompt “snelli”), il budget reale in contesti italiani—specie amministrativi, normativi e tecnici—può risultare sottodimensionato.

Dalla parola al vettore: come l’IA “vede” documenti e processi

Per capire perché un LLM può essere utile (e dove può diventare pericoloso), serve una visione chiara della pipeline:

1. Tokenizzazione

Un documento (contratto, determina, capitolato, regolamento) viene trasformato in una sequenza di token, ciascuno associato a un ID numerico.

2. Embedding (mappatura concettuale)

Gli ID vengono proiettati in uno spazio numerico multidimensionale: l’IA non “legge” lettere, ma lavora su distanze semantiche.
Esempio intuitivo: “fattura” tende a collocarsi vicino a “pagamento”, “scadenza”, “fornitore”; lontano da “biodiversità” o “geologia”.

3. Elaborazione (relazioni probabilistiche)

Il modello calcola relazioni tra token e contesto per generare l’output più plausibile.

Rischio di governance: plausibile non significa vero

Poiché il modello ottimizza la coerenza linguistica e la plausibilità statistica (non la verità fattuale), possono verificarsi le hallucinations: informazioni formalmente credibili ma inventate.

In un contesto aziendale o legale questo si traduce in rischi concreti:

• numeri di protocollo “verosimili” ma inesistenti
• date di scadenza errate
• riferimenti normativi confusi
• citazioni non verificabili

Regola d’oro: tutto ciò che è “dato sensibile”, “dato decisionale” o “dato ufficiale” deve prevedere verifica (umana o automatizzata, con fonti tracciabili).

La “finestra di contesto”: la scrivania dell’IA

Ogni modello ha un limite fisico di token che può gestire in una singola interazione: la context window.

Immaginala come una scrivania:

• se ci metti troppi documenti, quelli “in fondo” non sono più visibili
• quando il contesto eccede, il modello tende a “perdere” parti iniziali o a semplificare

Implicazioni operative per Imprese e PA

• Non sempre è possibile “incollare” un fascicolo intero e chiedere analisi affidabili.
• La qualità degrada se il contesto è saturo (specie con testi normativi lunghi).
• Serve una strategia di selezione, segmentazione e recupero delle informazioni.

Qui entra in gioco un approccio fondamentale: RAG (Retrieval-Augmented Generation), cioè far lavorare l’IA su estratti recuperati da un archivio indicizzato, con fonti richiamabili e verificabili, invece che su “tutto in blocco”.

Privacy e sicurezza: il mito dell’anonimato

Un errore frequente è pensare che, siccome il testo viene convertito in numeri (token), allora i dati diventino “anonimi”. Non è così.

La tokenizzazione non è anonimizzazione: è solo una codifica.

Perché è un problema reale

• Nomi, email, codici fiscali, riferimenti sanitari o disciplinari restano rappresentati in modo fedele e spesso ricostruibile.
• Se il prompt viene loggato (in sistemi non governati), stai di fatto trasferendo dati potenzialmente personali o riservati.
• Anche quando i dati non sono “direttamente identificativi”, possono diventarlo per combinazione (rischio di re-identificazione).

Cosa significa “governare” davvero l’uso

Per Imprese e PA, la domanda chiave non è “l’IA è potente?”, ma:
quali dati possono entrare nel sistema, dove vengono trattati, con quali garanzie e per quali finalità?

Minimo sindacale di governance (soprattutto in ambito pubblico e regolato):

• policy chiare su dati vietati e dati ammessi
• minimizzazione: “inserire il minimo indispensabile”
• ambienti controllati (tenant/servizi enterprise dove possibile)
• tracciabilità delle fonti per output critici
• formazione del personale: la sicurezza non è solo tecnica, è comportamentale

Conclusione: i token come KPI di strategia digitale

I token sono la “valuta” con cui si pagano prestazioni e rischi dell’IA generativa. Per questo non vanno considerati un dettaglio tecnico, ma un KPI strategico:

• Costo: controllare input/output e standardizzare prompt e template
• Performance: evitare contesti saturi e ottimizzare flussi
• Qualità: ridurre allucinazioni con vincoli, verifiche e fonti
• Compliance: prevenire errori di trattamento dati e uso improprio

Chi governa i token, governa l’adozione dell’IA.