Cos'è la tokenizzazione?
La tokenizzazione è il processo di conversione del testo (stringa di caratteri) in una sequenza di token — unità che il modello IA elabora. Un token è tipicamente un frammento di parola (3–4 caratteri nelle lingue europee).
Perché la tokenizzazione è importante?
La tokenizzazione impatta direttamente su: costi (le API fatturano per token), limiti di contesto (le finestre di contesto sono misurate in token) e qualità (i modelli addestrati principalmente in inglese tokenizzano le altre lingue in modo meno efficiente, richiedendo più token e degradando i risultati).
Ottimizzazione dei costi
In azienda, l'ottimizzazione della tokenizzazione porta risparmi reali: prompt concisi anziché verbosi, caching delle query ripetitive, scelta di modelli con tokenizer efficienti per la propria lingua e routing dei compiti semplici verso modelli più economici con minor consumo di token.