Što je NLP?
Obrada prirodnog jezika (NLP) je grana AI-ja i lingvistike koja se bavi razvojem sustava koji mogu razumjeti, interpretirati i generirati ljudski jezik. Od ranih pravilnih sustava i statističkih modela do suvremenih neuronskih transformera koji su dostigli gotovo razinu čovjeka u mnoge NLP zadatke.
Ključni NLP zadaci
Klasifikacija teksta: sentiment analiza, detekcija spama, razvrstavanje tiketa. NER: prepoznavanje imenovanik entiteta (osobe, organizacije, lokacije). Ekstrakcija informacija: izvlačenje strukturiranih podataka iz teksta. Strojni prijevod: prevođenje između jezika. Sažimanje: kondenziranje dugih tekstova. Generiranje: kreiranje teksta iz strukturiranih podataka ili uputa.
NLP danas — era LLM-ova
Moderni LLM-ovi su u biti ekstremo moćni NLP sustavi. Oni su integrirale sposobnosti koje su nekad bile zasebni modeli: klasifikacija, NER, prijevod, sažimanje, generiranje — sve u jednom modelu. Fine-tuned ili promptom-vođeni LLM-ovi nadmašuju specijalizirane NLP modele u većini zadataka uz puno manji razvojni napor.