Què és la Tokenització?
La tokenització és el procés de convertir text (cadena de caràcters) en una seqüència de tokens — unitats que el model d'IA processa. Un token és típicament un fragment de paraula (3-4 caràcters en llengües europees).
Per què importa la tokenització?
La tokenització impacta directament: el cost (les APIs cobren per token), els límits de context (les finestres de context es mesuren en tokens) i la qualitat (els models entrenats principalment en anglès tokenitzen altres llengües menys eficientment, requerint més tokens i degradant els resultats).
Optimització de costos
A l'empresa, l'optimització de la tokenització aporta estalvis reals: prompts concisos en lloc de verbosos, emmagatzematge en memòria cau de consultes repetitives, elecció de models amb tokenitzadors eficients per a la vostra llengua i encaminament de tasques simples a models més econòmics amb menor consum de tokens.