Što su Small Language Models?
SLM-ovi su AI modeli s manje parametara (1-7 milijardi) u usporedbi s LLM-ovima (70-400+ milijardi). Primjeri: Phi-4, Gemma 3, Llama 3.2. Unatoč manjoj veličini, nakon fine-tuninga postižu konkurentnu kvalitetu u uskim specijalizacijama.
SLM vs LLM — kada koristiti koji?
SLM: ponavljajući zadaci, klasifikacija, ekstrakcija podataka, RAG, trijaža upita. LLM: složeno zaključivanje, generiranje dugih tekstova, zadaci koji zahtijevaju široko opće znanje. U višerazinskom usmjeravanju, SLM-ovi obrađuju 60-80% upita dok LLM-ovi preuzimaju ostatak.
Poslovne prednosti
SLM-ovi se pokreću na poslužiteljima tvrtke bez slanja podataka u oblak (privatnost + GDPR). Latencija je u milisekundama umjesto sekundi. Trošak po upitu je blizak nuli. Idealni za industrije sa strogim zahtjevima za podatke: financije, zdravstvo, javni sektor.