Zer da Tokenizazioa?
Tokenizazioa testua (karaktere-katea) token-sekuentzia batean bihurtzeko prozesua da — AA ereduak prozesatzen dituen unitateak. Token bat normalean hitz baten zatia da (3-4 karaktere Europako hizkuntzetan).
Zergatik du garrantzia tokenizazioak?
Tokenizazioak zuzenean eragiten du: kostuari (APIek token bakoitzeko kobratzen dute), testuinguru-mugei (testuinguru-leihoak tokenetan neurtzen dira) eta kalitateari (nagusiki ingelesez entrenatutako ereduek beste hizkuntzak modu ez-eraginkorrean tokenizatzen dituzte, token gehiago beharrez eta emaitzak degradatuz).
Kostu-optimizazioa
Enpresan, tokenizazioaren optimizazioak benetako aurrezpena ekartzen du: prompt laburrak luze eta xehatuen ordez, kontsulta errepikakorraren cachea, zure hizkuntzarako tokenizatzaile eraginkorrak dituzten ereduak aukeratzea eta zeregin sinpleak token-kontsumo txikiagoko eredu merkeagoetara bideratzea.