Mik azok a Small Language Models?
Az SLM-ek kevesebb paraméterrel (1–7 milliárd) rendelkező AI-modellek, szemben az LLM-ekkel (70–400+ milliárd). Példák: Phi-4, Gemma 3, Llama 3.2. Kisebb méretük ellenére fine-tuning után szűk szakterületeken versenyképes minőséget érnek el.
SLM vs LLM — mikor melyiket használjuk?
SLM: ismétlődő feladatok, osztályozás, adatkinyerés, RAG, lekérdezés-szűrés. LLM: összetett gondolkodás, hosszú szövegek generálása, széles általános tudást igénylő feladatok. Többszintű routingban az SLM-ek kezelik a lekérdezések 60–80%-át, míg az LLM-ek a többit.
Vállalati előnyök
Az SLM-ek a vállalati szervereken futnak, anélkül hogy adatokat küldenének a felhőbe (adatvédelem + GDPR). A késleltetés ezredmásodpercekben mérhető, nem másodpercekben. A lekérdezésenkénti költség közel nulla. Ideális a szigorú adatkezelési követelményeket támasztó iparágak számára: pénzügy, egészségügy, közszféra.