Kaj so Small Language Models?
SLM-ji so modeli UI z manj parametri (1–7 milijard) v primerjavi z LLM-ji (70–400+ milijard). Primeri: Phi-4, Gemma 3, Llama 3.2. Kljub manjši velikosti po fine-tuningu dosegajo konkurenčno kakovost v ozkih specializacijah.
SLM vs LLM — kdaj uporabiti katerega?
SLM: ponavljajoče naloge, klasifikacija, ekstrakcija podatkov, RAG, trijaža poizvedb. LLM: zapleteno sklepanje, generiranje dolgih besedil, naloge, ki zahtevajo široko splošno znanje. Pri večstopenjskem usmerjanju SLM-ji obravnavajo 60–80 % poizvedb, medtem ko LLM-ji prevzamejo preostanek.
Poslovne prednosti
SLM-ji tečejo na strežnikih podjetja brez pošiljanja podatkov v oblak (zasebnost + GDPR). Latenca je v milisekundah namesto sekund. Strošek na poizvedbo je blizu nič. Idealni za panoge s strogimi zahtevami glede podatkov: finance, zdravstvo, javni sektor.