Que é a Tokenización?
A tokenización é o proceso de converter texto (cadea de caracteres) nunha secuencia de tokens — unidades que o modelo de IA procesa. Un token é tipicamente un fragmento de palabra (3-4 caracteres en linguas europeas).
Por que importa a tokenización?
A tokenización impacta directamente: o custo (as APIs cobran por token), os límites de contexto (as ventás de contexto mídense en tokens) e a calidade (os modelos adestrados principalmente en inglés tokenizan outras linguas con menos eficiencia, requirindo máis tokens e degradando os resultados).
Optimización de custos
Na empresa, a optimización da tokenización aporta aforros reais: prompts concisos en lugar de verbosos, almacenamento en caché de consultas repetitivas, elección de modelos con tokenizadores eficientes para a vosa lingua e encamiñamento de tarefas sinxelas a modelos máis económicos con menor consumo de tokens.