Hvad er RAG, og hvorfor har virksomheder brug for det
Store sprogmodeller imponerer med deres evner, men har en fundamental svaghed: deres viden slutter ved træningsdatoen og omfatter ikke organisationens interne dokumenter. Retrieval-Augmented Generation (RAG) løser dette problem ved at kombinere en sprogmodel med dynamisk søgning i vidensbaser. I stedet for udelukkende at stole på, hvad modellen lærte under træning, finder systemet først relevante dokumentfragmenter og genererer derefter et svar baseret på dem.
RAG-systemarkitektur i praksis
Den grundlæggende RAG-pipeline består af flere trin. Først indekseres organisationens dokumenter — kontrakter, procedurer, rapporter, specifikationer: tekst opdeles i fragmenter, og hvert fragment konverteres til en numerisk vektor (embedding), der repræsenterer dets semantiske betydning. Vektorerne gemmes i en specialiseret vektordatabase.
Når en bruger stiller et spørgsmål, konverterer systemet det til det samme vektorrum og finder dokumentfragmenter semantisk tæt på forespørgslen. Disse fragmenter præsenteres sammen med spørgsmålet for sprogmodellen, der genererer et svar forankret i virksomhedens reelle dokumenter.
Centrale implementeringsudfordringer
- Indekseringskvalitet — opdeling af dokumenter i fragmenter kræver omhyggelighed. For små fragmenter mister kontekst, for store indeholder unødvendig støj.
- Dataaktualitet — systemet skal synkroniseres med dokumentarkiver i næsten realtid.
- Adgangskontrol — søgeresultater skal respektere brugerens rettigheder. En medarbejder fra salgsafdelingen bør ikke modtage svar baseret på HR-dokumenter.
- Kvalitetsevaluering — at måle svarsrelevans kræver et eget testsæt baseret på spørgsmål og forventede svar.
Anvendelser i enterprise-miljøer
RAG fungerer overalt, hvor medarbejdere søger information spredt over flere systemer. Juridiske afdelinger bygger assistenter, der gennemsøger tusindvis af kontrakter. Kundeserviceafdelinger automatiserer svar på spørgsmål baseret på aktuel produktdokumentation. Ingeniører får teknisk hjælp baseret på interne specifikationer og hændelseshistorik.
ESKOM.AI bygger RAG-systemer integreret med kundens eksisterende infrastruktur — dokumentarkiver, ERP-systemer og vidensbaser. Et afgørende element er anonymiseringslaget, der gør det muligt at behandle følsomme dokumenter uden risiko for overtrædelse af databeskyttelsesregler.
Fra pilot til produktion
Den hyppigste fejl ved RAG-implementering er at lancere en pilot på nogle få dusin dokumenter og drage konklusioner om produktionsparathed. I virkeligheden ændrer systemets adfærd sig dramatisk ved titusindvis af dokumenter, varierede formater og uensartet kvalitet af kildedata. Ved planlægning af en implementering bør man straks forudse mekanismer til overvågning af svarskvalitet og eskaleringsveje til et menneske.