Mitä on tokenisaatio?
Tokenisaatio on prosessi, jossa teksti (merkkijono) muunnetaan tokenijonoksi — yksiköiksi, joita tekoälymalli käsittelee. Tokeni on tyypillisesti sanan osa (3–4 merkkiä eurooppalaisissa kielissä).
Miksi tokenisaatiolla on merkitystä?
Tokenisaatio vaikuttaa suoraan: kustannuksiin (API:t veloittavat tokeneista), kontekstirajoihin (konteksti-ikkunat mitataan tokeneina) ja laatuun (pääasiassa englannilla koulutetut mallit tokenisoivat muita kieliä vähemmän tehokkaasti, mikä vaatii enemmän tokeneita ja heikentää tuloksia).
Kustannusten optimointi
Yrityksissä tokenisaation optimointi tuo todellisia säästöjä: tiiviit promptit monisanaisten sijaan, toistuvien kyselyjen välimuistitus, mallien valinta tehokkailla tokenisaattoreilla kielellesi ja yksinkertaisten tehtävien reititys edullisempiin malleihin, joissa on pienempi tokeninkulutus.