Hvorfor prompt engineering virkelig er ingeniørkunst
Ved den første kontakt med sprogmodeller ligner prompting en samtale — du skriver, modellen svarer. I produktion viser denne intuition sig at være vildledende. Prompts er kode: de har versioner, afhængigheder, test og dokumentation. At ændre én sætning i en prompt kan drastisk ændre systemets adfærd for delmængder af data, der ikke var inkluderet i manuelle test. Uden en ingeniørmæssig tilgang bliver AI-systemer uforudsigelige i produktion.
Anatomi af en enterprise-prompt
En moden systemprompt til enterprise-anvendelser består af flere lag:
- Rolle- og kontekstdefinition — hvem er modellen i den givne kontekst, hvad er grænserne for dens kompetencer, og hvornår den bør nægte at svare.
- Adfærdsinstruktioner — kommunikationsstil, svarsformat, håndtering af uklare eller potentielt skadelige spørgsmål.
- Domænekontekst — organisationsspecifikke definitioner, procedurer og terminologi, som modellen ikke kender fra træningen.
- Eksempler (few-shot) — repræsentative spørgsmål-svar-par, der definerer forventet adfærd i vanskelige tilfælde.
- Formateringsinstruktioner — svarsstruktur, længde, brug af lister og overskrifter.
Skabeloner med versionsstyring
Prompts bør lagres i et versionsstyringssystem ligesom kode. Det betyder et git-repository, ændringsgennemgange (code review), versionstags og CHANGELOG. En promptændring i produktion uden revisionsspor er en ændring af produktionskode uden dokumentation — i et enterprise-miljø er det utilstedeligt.
For regulerede systemer, hvor prompts påvirker beslutninger om personer, bliver versionsstyring et compliance-krav: en tilsynsmyndighed kan spørge, hvilken prompt der blev brugt ved en specifik beslutning for seks måneder siden.
Guardrails — beskyttelse mod uønsket adfærd
Guardrails er mekanismer, der begrænser modellens handlingsrum. I enterprise-kontekst er de vigtigste kategorier:
- Tematiske — en juridisk assistentmodel bør ikke give medicinske anbefalinger.
- Formelle — svaret skal altid indeholde et juridisk forbehold eller information om begrænsninger.
- Privatlivsbeskyttelse — automatisk detektion og redigering af persondata i svar genereret baseret på interne dokumenter.
- Faktuel konsistens — verifikation af, at modellens påstande kan henføres til specifikke fragmenter af kildedokumenter.
Systematisk evaluering
Manuel test af prompts skalerer ikke. Systematisk evaluering kræver et testsæt bestående af hundredvis eller tusindvis af spørgsmål-forventet svar-par, der dækker typiske brugstilfælde, grænsetilfælde og forsøg på at omgå guardrails. Automatiske målinger — søgepræcision, faktuel trohed, formatoverholdelse — supplerer periodiske menneskelige vurderinger for de vanskeligste tilfælde.
A/B-test af prompts
I systemer med høj trafik er det muligt at teste promptvarianter parallelt på undergrupper af brugere og sammenligne resultater ifølge definerede forretningsmæssige målinger. Denne tilgang overfører optimeringsmetodikken kendt fra digital marketing til AI-systemudvikling og muliggør iterativ forbedring af prompts baseret på data, ikke intuition.