Kas yra Small Language Models?
SLM — tai DI modeliai su mažesniu parametrų skaičiumi (1–7 mlrd.) palyginti su LLM (70–400+ mlrd.). Pavyzdžiai: Phi-4, Gemma 3, Llama 3.2. Nepaisant mažesnio dydžio, po fine-tuningo jie pasiekia konkurencingą kokybę siaurose specializacijose.
SLM ir LLM — kada kurį naudoti?
SLM: pasikartojančios užduotys, klasifikavimas, duomenų išgavimas, RAG, užklausų triažas. LLM: sudėtingas samprotavimas, ilgų tekstų generavimas, užduotys, reikalaujančios plačių bendrų žinių. Daugiapakopiniame maršrutizavime SLM apdoroja 60–80 % užklausų, o LLM perima likusius.
Verslo privalumai
SLM veikia įmonės serveriuose nesiunčiant duomenų į debesį (privatumas + BDAR). Vėlinimas yra milisekundėmis, ne sekundėmis. Užklausos kaina artima nuliui. Idealūs pramonės šakoms su griežtais duomenų reikalavimais: finansai, sveikatos priežiūra, viešasis sektorius.